- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hive、Kafa、Flume
(2) 计算: CombineTextInputFormat CombineHiveTextInputFormat MR引擎:JVM重用 MR任务中MapTask和ReduceTask都是进程(YarnChild) Spark任务中ShuffleMapTask和ResultTask都是线程 。(4) NameNode返回3个DataNode节点(按照副本数量挑选DN进行返回)，分别为dn1、dn2、dn3节点，表示采用这三个节点存储数据。
2023-11-06 17:04:58
125
1
原创 各种快捷键
2.输入 "转换为大写", 会出现搜索结果【转换为大写】,鼠标悬停在该结果上, 点击前面的"加号" 或 双击, 会弹出输入自定义快捷键的弹窗。从当前选中到最后，光标点击A处，按住shift同时ctrl+end（ctrl+fn+end）ctrl+f12 显示类中所有方法 ctrl+FN+f12。ctrl+atl+左键 调回点击源码的上一步 右键下一步。跳转末尾ctrl+end（ctrl+fn+end）ctrl+shift+左右键 选中单词首尾。ctrl+shift+左右键 选中单词首尾。
2023-11-06 17:02:24
140
1
原创 Flink反压的解决以及Flink SQL的优化
利用 Flink Web UI 定位，通过查看subtask的反压监控，反压状态为HIGH红色的subtask即处于反压。 解决： 方法一：直接聚合。 发现二：通过Flink Web UI查看任务的反压情况，如果只有个别Subtask呈现反压情况，有红有绿，可以推断出数据倾斜。 设置参数：开启MiniBatch，设置批量输出的间隔时间，设置每个批次最多缓存数据的条数（可以设置为两万条）。如果通过Flink Web UI查看subtask的反压情况有红有绿 ----> 原因：数据倾斜。
2023-11-06 16:58:50
796
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人