源码
文章平均质量分 92
weixin_45626756
这个作者很懒,什么都没留下…
展开
-
Flink 任务提交与执行流程
JobGrap的接受与运行上文我们讲解了客户端将用户代码最终转化为JobGrap之后,通过Dispatcher的网关将JobGrap提交给Dispatcher。之后Dispatcher通过JobManagerRunnerFactory工厂类创建JobManagerRunner实例,最终调用JobManagerRunner实例启动JobManager服务。JobManager服务的底层主要通过JobMaster实现的,负责整个作业的生命周期和Task调度工作。JobGrap提交整体流程flink客户端原创 2022-01-17 11:17:51 · 2003 阅读 · 1 评论 -
Flink状态管理
KeyedState的管理KeyState通过KeyedStateBackend进行创建和管理,Flink提供了基于JVM堆内存和RocksDB实现的KeyedStateBackend。KeyedStateBackend不仅提供了创建KeyedState的功能,也实现SnapshotStrategy接口,对KeyedStateBackend中的状态数据进行快照,实现状态数据的持久化。在Task初始化时,每个Task实例初始化的过程中都会创建一个StateBackend,用于管理状态和Checkpoint原创 2022-01-12 11:26:06 · 918 阅读 · 0 评论 -
Flink Checkpoint机制剖析(源码剖析)
Checkpoint整体设计Checkpoint执行过程分为:启动、执行以及确认完成三个阶段。CheckpointCoordinator控制Checkpoint执行:JM端的CheckpointCoordinator组件会周期性的向数据源发送执行CK的请求,数据源节点将数据源消费的offset发送给JM,存储到CK的元数据信息中。同时向下广播barrier。中间算子对齐barrier:中间算子在StreamTaskNetworkInput组件中读取数据并对齐各个channel的barrier。bar原创 2022-01-11 14:44:19 · 1567 阅读 · 1 评论