自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(234)
  • 收藏
  • 关注

原创 二百三十四、Linux——导出CentOS 7已安装的软件包为离线安装包

Linux——导出CentOS 7已安装的软件包为离线安装包

2024-04-22 11:50:33 83

原创 二百三十三、Flume——Flume采集JSON文件到Kafka,再用Flume采集Kafka数据到HDFS中

Flume采集JSON文件到Kafka,再用Flume采集Kafka数据到HDFS中

2024-04-19 14:56:12 777 1

原创 二百三十二、Kettle——修改MySQL中历史数据为当前系统日期并增量同步到ClickHouse中

Kettle——修改MySQL中历史数据为当前系统日期并增量同步到ClickHouse中

2024-04-12 10:38:47 647

原创 二百三十一、ClickHouse——DBeaver连接ClickHouse中时间戳字段的时区差了8小时

DBeaver连接ClickHouse中时间戳字段的时区差了8小时

2024-04-12 09:52:14 470 1

原创 二百三十、MySQL——MySQL表的索引

MySQL表的索引

2024-04-10 15:07:40 226

原创 二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程

离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程

2024-04-02 20:02:29 1100 2

原创 二百二十八、Hive——HQL报错:删除HDFS中的Hive数据文件导致Xshell连接MySQL异常和HQL查询异常

HQL报错:删除HDFS中的Hive数据文件导致Xshell连接MySQL异常和HQL查询异常

2024-03-07 10:33:49 472

原创 二百二十七、Linux——通过shell脚本判断HDFS文件是否存在,如果存在则删除HDFS文件

通过shell脚本判断HDFS文件是否存在,如果存在则删除HDFS文件

2024-03-05 15:13:55 1088 4

原创 二百二十六、Linux——shell脚本查看今天日期、昨天日期、30天前日期、1月前日期

Linux——shell脚本查看今天日期、昨天日期、30天前日期、1月前日期

2024-03-04 11:34:25 485

原创 二百二十五、海豚调度器——用DolphinScheduler调度执行Flume数据采集任务

海豚调度器——用DolphinScheduler调度执行Flume数据采集任务

2024-03-01 16:10:12 1144

原创 二百二十四、Kettle——曲线实现从Hive插入更新到ClickHouse(分区字段是month或year)

Kettle——曲线实现从Hive插入更新到ClickHouse(分区字段是month或year)

2024-02-20 15:57:03 968

原创 二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)

Kettle——从Hive增量导入到ClickHouse(根据day字段判断)

2024-02-19 11:10:03 1244

原创 二百二十二、Kettle——Kettle运行报错:Error setting value #1 [Date] on prepared statement

Kettle运行报错:Error setting value #1 [Date] on prepared statement

2024-02-19 10:28:03 686

原创 二百二十一、Hive——HQL报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Hive——HQL报错:return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

2024-01-30 16:23:22 551

原创 二百二十、MySQL——把一台服务器的一个MySQL数据库备份到另一台服务器的MySQL中(整个数据库、亲测附截图)

把一台服务器的一个MySQL数据库备份到另一台服务器的MySQL中(整个数据库、亲测附截图)

2024-01-10 11:25:45 425

原创 二百一十九、Hive——HQL报错:Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1

HQL报错:Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1

2023-12-14 17:35:25 1149

原创 二百一十八、Hadoop——Hadoop启动报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

Hadoop启动报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

2023-12-13 20:42:26 1191

原创 二百一十七、Flume——Flume拓扑结构之聚合的开发案例(亲测,附截图)

Flume拓扑结构之聚合的开发案例(亲测,附截图)

2023-12-13 14:46:24 1222

原创 二百一十六、Flume——Flume拓扑结构之负载均衡和故障转移的开发案例(亲测,附截图)

Flume拓扑结构之负载均衡和故障转移的开发案例(亲测,附截图)

2023-12-12 20:19:50 1337

原创 二百一十五、Flume——Flume拓扑结构之复制和多路复用的开发案例(亲测,附截图)

Flume拓扑结构之复制和多路复用的开发案例(亲测,附截图)

2023-12-12 16:28:26 1293

原创 二百一十四、Linux——Linux系统时间比电脑时间慢5分钟

Linux系统时间比电脑时间慢5分钟

2023-12-08 16:07:12 745

原创 二百一十三、Flume——Flume拓扑结构介绍

Flume拓扑结构介绍

2023-12-06 11:32:27 1087

原创 二百一十二、Flume——Flume实时采集Linux中的目录文件写入到HDFS中(亲测、附截图)

Flume实时采集Linux中的目录文件写入到HDFS中(亲测、附截图)

2023-12-05 16:54:42 1454

原创 二百一十一、Flume——Flume实时采集Linux中的Hive日志写入到HDFS中(亲测、附截图)

Flume实时采集Linux中的Hive日志写入到HDFS中(亲测、附截图)

2023-12-05 15:30:00 1857

原创 二百一十、Hive——Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺

Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺

2023-12-04 09:59:29 1445

原创 二百零九、Hive——with嵌套语句报错:hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

Hive——with嵌套语句报错:hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias 't2'

2023-12-01 17:19:11 1067

原创 二百零八、Hive——HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

HiveSQL异常:Select查询数据正常,但SQL语句加上group by查询数据为空

2023-11-28 17:05:53 779

原创 二百零七、Flume——Flume实时采集5分钟频率的Kafka数据直接写入ODS层表的HDFS文件路径下

Flume实时采集5分钟频率的Kafka数据直接写入ODS层表的HDFS文件路径下

2023-11-21 10:48:35 984

原创 二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

Flume1.9.0单机版部署脚本(附截图)

2023-11-20 17:01:41 825

原创 二百零五、Flume——数据流监控工具Ganglia单机版安装以及使用Ganglia监控Flume任务的数据流(附流程截图)

数据流监控工具Ganglia单机版安装以及使用Ganglia监控Flume任务的数据流(附流程截图)

2023-11-20 16:13:52 707

原创 二百零四、Flume——登录监听窗口报错Ncat: bind to :::44444: Address already in use. QUITTING.

登录监听窗口报错Ncat: bind to :::44444: Address already in use. QUITTING.

2023-11-20 14:50:59 538

原创 二百零三、Flume——Flume实时采集数据频率为1s的高频率Kafka数据直接写入ODS层表的HDFS文件路径下

Flume实时采集数据频率为1s的高频率Kafka数据直接写入ODS层表的HDFS文件路径下

2023-11-15 17:36:51 792

原创 二百零二、Hive——Hive解析JSON字段(单个字段与json数组)

Hive解析JSON字段(单个字段与json数组)

2023-11-15 16:36:21 519

原创 二百零一、Flink——Flink配置状态后端运行后报错:Can not create a Path from an empty string

Flink配置状态后端运行后报错:Can not create a Path from an empty string

2023-11-07 11:44:57 504

原创 二百、Flink——Flink写入MySQL报错:Establishing SSL connection without server‘s identity verification is not r

Flink写入MySQL报错:Establishing SSL connection without server's identity verification is not recommended

2023-11-01 20:07:05 141

原创 一百九十九、Flink——Flink写入Redis运行报错:JedisDataException: NOAUTH Authentication required

Flink写入Redis运行报错:JedisDataException: NOAUTH Authentication required

2023-11-01 14:47:16 571 4

原创 一百九十八、Java——IDEA项目中有参构造、无参构造等快捷键(持续梳理中)

IDEA项目中有参构造、无参构造等快捷键(持续梳理中)

2023-10-30 15:14:08 1148

原创 一百九十七、Java——IDEA项目中把多层文件夹拆开显示

由于IDEA项目中,默认的是把文件夹连在一起显示,于是为了方便需要把这些连在一起的文件夹拆开,分层显示如文件夹cn.kgc。

2023-10-30 14:20:00 1462 2

原创 一百九十六、Java——Java项目运行发出log4j警告:log4j:WARN Please initialize the log4j system properly

Java项目运行发出log4j警告:log4j:WARN Please initialize the log4j system properly.

2023-10-26 11:48:20 725

原创 一百九十五、MySQL——MySQL数据库创建只读权限的账号(附流程截图)

MySQL数据库创建只读权限的账号(附流程截图)

2023-10-23 15:05:39 818

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除