本文深入解析Flink中JobGraph的生成过程，包括JobGraph的概念、属性以及如何从StreamGraph优化得到JobGraph。重点讨论了节点散列值的生成和执行链的设置，阐述了这两部分如何影响任务执行效率和状态恢复。
1.视界
2. JobGraph概述
2.1 JobGraph是什么？
JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
作业图（JobGraph）是唯一被Flink的数据流引擎所识别的表述作业的数据结构，也正是这一共同的抽象体现了流处理和批处理在运行时的统一。
相比流图（StreamGraph）以及批处理优化计划（OptimizedPlan），JobGraph发生了一些变化，已经不完全是“静态”的数据结构了，因为它加入了中间结果集（IntermediateDataSet）这一“动态”概念。
作业顶点（JobVertex）、中间数据集（IntermediateDataSet
订阅专栏 解锁全文
435
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
