flink
文章平均质量分 52
王胡雄
半路出家,立地成猿。
展开
-
Flink数据倾斜以及解决之道
什么是数据倾斜?数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。FLINK中,如何定位数据倾斜?1、进入flink-webUI界面2、哪类算子易出现数据倾斜?3、为什么keyedProcess易出现数据倾斜? 1)非KeyProcess的分区...原创 2021-09-12 16:38:39 · 2075 阅读 · 0 评论 -
Flink 延迟流用法
public class DelayKeyStreamProcess extends KeyedProcessFunction<Integer, Iterable<HashMap<String, Object>>, Iterable<HashMap<String, Object>>> { private transient MapState<Long, List<Iterable<HashMap<String, O.原创 2021-07-26 20:33:40 · 632 阅读 · 1 评论