- 博客(3)
- 收藏
- 关注
原创 Hive、Kafa、Flume
(2) 计算: CombineTextInputFormat CombineHiveTextInputFormat MR引擎:JVM重用 MR任务中MapTask和ReduceTask都是进程(YarnChild) Spark任务中ShuffleMapTask和ResultTask都是线程 。(4) NameNode返回3个DataNode节点(按照副本数量挑选DN进行返回),分别为dn1、dn2、dn3节点,表示采用这三个节点存储数据。
2023-11-06 17:04:58
74
1
原创 各种快捷键
2.输入 "转换为大写", 会出现搜索结果【转换为大写】,鼠标悬停在该结果上, 点击前面的"加号" 或 双击, 会弹出输入自定义快捷键的弹窗。从当前选中到最后,光标点击A处,按住shift同时ctrl+end(ctrl+fn+end)ctrl+f12 显示类中所有方法 ctrl+FN+f12。ctrl+atl+左键 调回点击源码的上一步 右键下一步。跳转末尾ctrl+end(ctrl+fn+end)ctrl+shift+左右键 选中单词首尾。ctrl+shift+左右键 选中单词首尾。
2023-11-06 17:02:24
72
1
原创 Flink反压的解决以及Flink SQL的优化
利用 Flink Web UI 定位,通过查看subtask的反压监控,反压状态为HIGH红色的subtask即处于反压。 解决: 方法一:直接聚合。 发现二:通过Flink Web UI查看任务的反压情况,如果只有个别Subtask呈现反压情况,有红有绿,可以推断出数据倾斜。 设置参数:开启MiniBatch,设置批量输出的间隔时间,设置每个批次最多缓存数据的条数(可以设置为两万条)。如果通过Flink Web UI查看subtask的反压情况有红有绿 ----> 原因:数据倾斜。
2023-11-06 16:58:50
446
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人