自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(35)
  • 收藏
  • 关注

原创 Numpy入门

给数组填充为任意数字。

2024-07-09 11:13:06 99

原创 yum报错Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra

ps:/etc/resolv.conf是DNS的配置文件。保存退出后重新执行yum即可使用。

2024-06-27 16:32:17 424

原创 Flink定义与实践上 ---- 定义,运行原理,程序架构及常用API(source,sink,分流,合流)

Flink ---- 定义,运行原理,程序架构及常用API(source,sink,分流,合流)

2023-11-01 19:58:43 177

原创 Hadoop中 datanode 启动不了

讲hadoop格式化后,重新启动hadoop时发现datanode启动不了,原因推测可能是namenode格式化话id与之前的不一致,datanode识别不了,所以没有启动。讲hadoop文件夹的data/dfs/data/current中的VERSION文件夹删除,再重新创建个名叫VERSION文件夹,最后启动hadoop,发现此时全部启动了。

2023-10-27 09:01:05 314

原创 报错:bash: jps: command not found 解决方法

报错:bash: jps: command not found 解决方法

2023-10-25 23:48:46 422

原创 Kafka高级原理(未完待续)

当一个follower故障时,会被踢出ISR,等待该follower恢复后,会读取当前的HW,并将高于HW的log文件内的数据删除,也就是说此时follower的偏移量为HW线,然后开始向leader同步,等到该follower追上leader后,就把它加入ISR,继续生产。先消费后提交offset的情况,如果消费完后出故障,则当前消费完的offset尚未存储,记录的仍然是消费到offset-1的情况,那么等下次开始消费时,从offset开始消费,进而造成了重复消费的情况。

2023-10-24 23:57:59 104

原创 Spark介绍 及 RDD详解

spark介绍,rdd的介绍与 优化

2023-10-23 19:13:27 132

原创 MapReduce核心思想及工作流程以及实战

mapreduce核心思想与工作流程,实战

2023-10-22 02:42:12 793

原创 HDFS详细读写原理

HDFS读写原理

2023-10-21 20:59:04 73

原创 Linux报错:Job for network.service failed because the control process exited with error code.

今早日常打开虚拟机准备连接xshell时,一台机器连接不上,然后回vm端,ping了下百度,发现ping不通,之后想着重启一下网络服务 systemctl restart network.service 后报错。此时重启网络服务systemctl restart network.service,发现可以ping通百度了。个人解决方法:由于安装的是桌面版的linux,一般情况下需要禁用NetworkManager。

2023-10-17 14:34:40 621

原创 Hadoop mapreduce 报错:Container exited with a non-zero exit code 127. Error file: prelaunch.err.

Hadoop mapreduce 报错:Container exited with a non-zero exit code 127. Error file: prelaunch.err.

2023-10-16 11:12:42 1122

原创 Spark算子写sql50

spark sql50

2023-10-13 01:25:52 51

原创 SQL 行转列 写法

【代码】SQL 行转列 写法

2023-10-11 19:12:08 38

原创 Spark--读取数据文件

Spark--读取数据文件

2023-10-11 16:30:33 486

原创 Spark--读取JSON文件

spark读取json

2023-10-11 10:47:37 371

原创 Spark--常用算子介绍

spark算计介绍

2023-10-10 19:34:06 63

原创 牛客SQL大厂面试真题个人题解

牛客网sql题解

2023-10-06 17:07:58 89

原创 Flume日志系统简介与应用

flume日志系统

2023-09-21 13:04:29 175

原创 Kafka入门及其原理

消息中间件定义;kafka定义及其架构

2023-09-18 19:11:17 127

原创 Kafka基本语法

kafka基本语法

2023-09-18 18:20:51 69

原创 Kafka单机与高可用集群搭建步骤

安装kafka

2023-09-18 16:45:39 75

原创 Hbase--Hbase数据表映射到Hive中

Hbase数据表映射到Hive中

2023-09-15 09:53:06 630 2

原创 Hive分区表与分桶表详解

分区与分桶表

2023-09-14 19:13:19 74 1

原创 Hive基本语法

hive基本语法

2023-09-14 17:09:07 50 1

原创 Hive--zeppelin安装及数据清洗项目

zeppelin搭建;数据清洗;数据分析

2023-09-14 16:34:44 99 1

原创 Linux安装Hive

安装hive

2023-09-05 18:50:19 44 1

原创 配置高可用集群

配置高可用集群

2023-09-05 18:26:02 110 1

原创 Hadoop集群配置bug详解

集群配置的bug解决方案

2023-08-23 12:26:04 76 1

原创 Hadoop基础

Hadoop基础概念

2023-08-22 18:24:55 80 1

原创 Linux安装Jdk,Hadoop

linux安装jdk和hadoop

2023-08-21 18:02:52 110 1

原创 Linux远程连接mysql步骤

Linux远程连接mysql

2023-08-19 13:52:01 1425

原创 git --Authentication failed for...报错

git --Authentication failed for...报错解决方法

2023-08-18 11:00:33 181 1

原创 Linux基本脚本语法

头部文件、if、for、while、function

2023-08-16 18:44:52 208 1

原创 Linux常用指令(持续更新ing)

linux常用指令

2023-08-16 10:36:30 86 1

原创 虚拟机的搭建

如何创建并配置虚拟机

2023-08-16 09:55:44 76 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除