Flink 中的执行图可以分成四层:StreamGraph -> JobGraph ->ExecutionGraph-> 物理执行图
①StreamGraph:是根据用户通过Stream API编写的代码生成的最初的图,用来表示程序的拓扑结构。
②JobGraph:StreamGraph经过优化后生成了JobGraph,提交给JobManager 的数据结构。主要的优化为将多个符合条件的节点 chain 在一起作为一个节点
③ExecutionGraph:JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本,是调度层最核心的数据结构。
④物理执行图:JobManager 根据 ExecutionGraph 对 Job 进行调度后,在各个TaskManager 上部署 Task 后形成的“图”,并不是一个具体的数据结构。
Flink执行图
最新推荐文章于 2023-10-19 12:01:44 发布