flink实战--StreamGraph，JobGraph，ExecutionGraph生成流程解析

阿华田512

已于 2024-03-08 14:56:09 修改

阅读量848

点赞数

分类专栏： Flink学习必读系列文章标签： flink flink执行计划 StreamGraph JobGraph

于 2022-03-26 18:03:01 首次发布

本文链接：https://blog.csdn.net/aA518189/article/details/123672612

版权

Flink学习必读系列专栏收录该内容

70 篇文章 561 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Flink任务执行时StreamGraph、JobGraph、ExecutionGraph的生成过程及其功能。StreamGraph由用户代码转换而来，JobGraph在StreamGraph基础上优化，设置Task链关系，ExecutionGraph加入并行度概念，成为可调度结构。文章还涵盖了JobGraph到ExecutionGraph的转换，作业执行状态以及Task生命周期的关键点。

摘要由CSDN通过智能技术生成

简介

Flink在提交并执行任务时,首先会生成执行计划，依次生成StreamGraph、JobGraph、 ExecutionGraph、物理执行图。其中StreamGraph和JobGraph是在client端生成的,ExecutionGraph是在JobMaster中执行的，JobMaster根据 JobGraph 生成ExecutionGraph。方便调度和监控和跟踪各个 tasks 的状态。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构,本文将详细介绍这些Graph的功能以及生成流程，方便大家对Flink内部执行流程有一个清晰的全局认识。

StreamGraph、JobGraph、ExecutionGraph的功能

1.StreamGraph

根据用户代码生成的最原始执行图，StreamGraph其实就是由用户代码中涉及到transformations转换来的，它包含两个重要元素，StreamNode和StreamEdge。StreamGraph的生成发生在用户调用了env.execute() 方法之后，而在这之前，用户编写的应用程序会转换成一个包含了Transformation的集合,SteamEdge用来表示transfor