- 博客(4)
- 收藏
- 关注
RSS订阅原创 shell中实现依赖执行
echo "------------shell_one.sh start 调度开始时间是：`date +'%Y+%m+%d %H+%M+%S'`------------"echo "------------shell_one.sh 调度结束时间是：`date +'%Y+%m+%d %H+%M+%S'`------------"echo "------------shell_two.sh 调度结束时间是：`date +'%Y+%m+%d %H+%M+%S'`------------"
2023-11-28 16:00:04
117
原创 kafka的一些常用命令
kafka-consumer-groups --bootstrap-server localhost:9092 --group consumeGroup --topic 表对应topic --execute --reset-offsets --to-offset + offset预估值。LAG = LOG-END-OFFSET - CURRENT-OFFSET， LAG为0，表示该topic-分区无积压。LOG-END-OFFSET： 代表该topic-分区消息的高水位。10、查看设置后当前offset。
2023-10-30 10:49:05
254
1
原创 shell命令查询hdfs某路径下某种类型的文件大小
仅显示HDFS根目录大小。即各文件和文件夹大小之和。#以最大单位显示HDFS根目录中各文件和文件夹大小。/user/$user : hdfs 文件路径。#显示HDFS根目录中各文件和文件夹大小。获取逻辑空间文件/目录大小 du。#使用正则表达式-E 选项。
2023-10-18 17:16:37
359
1
原创 hive常用函数小结
方式二极大的减少重复的代码量，需要熟悉lateral view和str_to_map，concat等函数使用，concat主要拼接key-value形式存储的字符串，如在一个项目开发中使用一个sql处理出十多个指标，后期需要列存储各指标值时，使用方式二就可以使代码减少数10倍，极大提升代码可读性和可维护性，同时key值可以自定义。=或者=的条件查询，过多会失效。[{"name":"Tom","sex":"男","age":"22"},{"name":"Jack","sex":"女"age":"32"}]
2023-09-05 11:18:30
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人