![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
flink源码
文章平均质量分 86
flink源码剖析
雾岛与鲸
这个作者很懒,什么都没留下…
展开
-
Flink的八种分区策略源码解读
Flink包含8中分区策略,这8中分区策略(分区器)分别如下面所示,本文将从源码的角度一一解读每个分区器的实现方式。GlobalPartitionerShufflePartitionerRebalancePartitionerRescalePartitionerBroadcastPartitionerForwardPartitionerKeyGroupStreamPartitionerCustomPartitionerWrapper继承关系图接口名称ChannelSelector原创 2021-01-13 17:37:13 · 701 阅读 · 0 评论 -
Flink 源码: 从 KeyGroup 到 Rescale
通过阅读本文你能 get 到以下点:KeyGroup、KeyGroupRange 介绍maxParallelism 介绍及采坑记数据如何映射到每个 subtask 上?任务改并发时,KeyGroup rescale 的过程一、 KeyGroup、KeyGroupRange 介绍Flink 中 KeyedState 恢复时,是按照 KeyGroup 为最小单元恢复的,每个 KeyGroup 负责一部分 key 的数据。这里的 key 指的就是 Flink 中 keyBy 中提取的 key。每转载 2020-12-21 14:57:40 · 877 阅读 · 0 评论 -
Flink 原理与实现:架构和拓扑概览
架构要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager,JobManager 再调度任务到各个 TaskManager 去执行,然后 TaskManager 将心跳和统计信息汇报给 JobManager。TaskManager 之间以流转载 2020-09-21 11:50:57 · 277 阅读 · 0 评论