- 博客(245)
- 收藏
- 关注
RSS订阅原创 二百四十五、海豚调度器——用DolphinScheduler调度执行复杂的HiveSQL(HQL包含多种海豚无法正确识别的符号)
海豚调度器——用DolphinScheduler调度执行复杂的HiveSQL(HQL包含多种海豚无法正确识别的符号)
2024-07-22 14:02:25
873
原创 二百四十四、Hive——Hive中解析复杂JSON，既有对象还有数组，而且数组中包含数组
Hive——Hive中解析复杂JSON，既有对象还有数组，而且数组中包含数组
2024-07-16 15:56:27
1220
原创 二百四十二、Hive——Hive的动态分区表出现day=__HIVE_DEFAULT_PARTITION__分区
Hive的动态分区表出现day=__HIVE_DEFAULT_PARTITION__分区
2024-06-28 10:29:01
543
原创 二百四十一、Linux——防火墙状态查看警告：WARNING: AllowZoneDrifting is enabled. This is considered an insecure
Linux——防火墙状态查看警告：WARNING: AllowZoneDrifting is enabled. This is considered an insecure
2024-06-24 17:55:07
346
原创 二百三十六、Kettle——修改MySQL中历史数据为当前系统日期同步到MySQL另一张表中并且每日数据逐渐减少
Kettle——修改MySQL中历史数据为当前系统日期同步到MySQL另一张表中并且每日数据逐渐减少
2024-05-13 15:46:10
921
原创 二百三十三、Flume——Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中
Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中
2024-04-19 14:56:12
1201
2
原创 二百三十二、Kettle——修改MySQL中历史数据为当前系统日期并增量同步到ClickHouse中
Kettle——修改MySQL中历史数据为当前系统日期并增量同步到ClickHouse中
2024-04-12 10:38:47
821
原创 二百三十一、ClickHouse——DBeaver连接ClickHouse中时间戳字段的时区差了8小时
DBeaver连接ClickHouse中时间戳字段的时区差了8小时
2024-04-12 09:52:14
1306
1
原创 二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程
离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程
2024-04-02 20:02:29
1319
原创 二百二十八、Hive——HQL报错：删除HDFS中的Hive数据文件导致Xshell连接MySQL异常和HQL查询异常
HQL报错：删除HDFS中的Hive数据文件导致Xshell连接MySQL异常和HQL查询异常
2024-03-07 10:33:49
520
原创 二百二十七、Linux——通过shell脚本判断HDFS文件是否存在，如果存在则删除HDFS文件
通过shell脚本判断HDFS文件是否存在，如果存在则删除HDFS文件
2024-03-05 15:13:55
1275
4
原创 二百二十六、Linux——shell脚本查看今天日期、昨天日期、30天前日期、1月前日期
Linux——shell脚本查看今天日期、昨天日期、30天前日期、1月前日期
2024-03-04 11:34:25
720
原创 二百二十五、海豚调度器——用DolphinScheduler调度执行Flume数据采集任务
海豚调度器——用DolphinScheduler调度执行Flume数据采集任务
2024-03-01 16:10:12
1295
原创 二百二十四、Kettle——曲线实现从Hive插入更新到ClickHouse（分区字段是month或year）
Kettle——曲线实现从Hive插入更新到ClickHouse（分区字段是month或year）
2024-02-20 15:57:03
1003
原创 二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
2024-02-19 11:10:03
1304
原创 二百二十二、Kettle——Kettle运行报错：Error setting value #1 [Date] on prepared statement
Kettle运行报错：Error setting value #1 [Date] on prepared statement
2024-02-19 10:28:03
1133
原创 二百二十一、Hive——HQL报错：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Hive——HQL报错：return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
2024-01-30 16:23:22
877
原创 二百二十、MySQL——把一台服务器的一个MySQL数据库备份到另一台服务器的MySQL中（整个数据库、亲测附截图）
把一台服务器的一个MySQL数据库备份到另一台服务器的MySQL中（整个数据库、亲测附截图）
2024-01-10 11:25:45
614
原创 二百一十九、Hive——HQL报错：Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1
HQL报错：Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1
2023-12-14 17:35:25
1303
原创 二百一十八、Hadoop——Hadoop启动报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
Hadoop启动报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
2023-12-13 20:42:26
1668
原创 二百一十六、Flume——Flume拓扑结构之负载均衡和故障转移的开发案例（亲测，附截图）
Flume拓扑结构之负载均衡和故障转移的开发案例（亲测，附截图）
2023-12-12 20:19:50
1498
原创 二百一十五、Flume——Flume拓扑结构之复制和多路复用的开发案例（亲测，附截图）
Flume拓扑结构之复制和多路复用的开发案例（亲测，附截图）
2023-12-12 16:28:26
1329
原创 二百一十二、Flume——Flume实时采集Linux中的目录文件写入到HDFS中（亲测、附截图）
Flume实时采集Linux中的目录文件写入到HDFS中（亲测、附截图）
2023-12-05 16:54:42
1579
原创 二百一十一、Flume——Flume实时采集Linux中的Hive日志写入到HDFS中（亲测、附截图）
Flume实时采集Linux中的Hive日志写入到HDFS中（亲测、附截图）
2023-12-05 15:30:00
2045
原创 二百一十、Hive——Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺
Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺
2023-12-04 09:59:29
1513
原创 二百零九、Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘
Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias 't2'
2023-12-01 17:19:11
1305
原创 二百零八、Hive——HiveSQL异常：Select查询数据正常,但SQL语句加上group by查询数据为空
HiveSQL异常：Select查询数据正常,但SQL语句加上group by查询数据为空
2023-11-28 17:05:53
906
原创 二百零七、Flume——Flume实时采集5分钟频率的Kafka数据直接写入ODS层表的HDFS文件路径下
Flume实时采集5分钟频率的Kafka数据直接写入ODS层表的HDFS文件路径下
2023-11-21 10:48:35
1045
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人