Flink原理与实现：如何生成ExecutionGraph及物理执行图

已于 2022-07-11 19:55:26 修改
阅读量2.5k 收藏 2
点赞数
分类专栏： Flink系统性学习专栏 文章标签： flink big data spark
于 2019-04-21 11:38:50 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/89430385
版权
本文深入解析Flink的ExecutionGraph生成过程，包括Task调度和执行的详细步骤。从StreamGraph到JobGraph，再到ExecutionGraph，阐述ExecutionJobVertex、ExecutionVertex和ExecutionEdge的创建。接着，文章介绍了Task如何在mini cluster中被调度和执行，包括Task的状态迁移、Physical Execution Graph的转换，以及Task的执行流程，展示了用户逻辑代码如何在任务运行中发挥作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink实战--StreamGraph，JobGraph，ExecutionGraph生成流程解析
阿华田的博客
03-26 892
简介 Flink在执行用户的任务时，会涉及到StreamGraph，JobGraph，ExecutionGraph，物理执行图。其中StreamGraph和JobGraph是在client端生成的，ExecutionGraph是在JobMaster中执行的，本文将详细介绍这些Graph的生成流程，方便大家对Flink内部执行流程有一个清晰的认识。 StreamGraph是根据用户代码生成的最原始执行图，也就是直接翻译用户逻辑得到的图 JobGraph是对StreamGraph进行优化.....
精通Flink原理必读 -《Flink内核原理与实现》
ffjl1985的专栏
09-03 5470
《Flink内核原理与实现》既讲解了Flink的入门、安装、流计算开发入门、类型和序列化系统、监控运维、安全管理配置等基础知识，又讲解了Flink的时间概念、Window的实现原理及其代码解析，Flink的容错机制原理，Flink容错的关键设计、代码实现分析，Flink Job从源码到执行整个过程的解析，Flink Job的调度策略、资源管理策略、内存管理、数据交换的关键设计和代码实现分析，Flink的RPC通信框架等深度内容。 《Flink内核原理与实现》适合对实时计算感兴趣的大数据开发、运维领域的从业
flink运行原理_Flink原理与实现：如何生成ExecutionGraph及物理执行图-阿里云开发者社区...
weixin_33109551的博客
12-30 285
阅读本文之前，请先阅读Flink原理与实现系列前面的几篇文章 ：ExecutionGraph生成过程StreamGraph和JobGraph都是在client生成的，这篇文章将描述如何生成ExecutionGraph以及物理执行图。同时会讲解一个作业提交后如何被调度和执行。client生成JobGraph之后，就通过submitJob提交至JobMaster。在其构造函数中，会生成Executio...
flink源码阅读之ExecutionGraph的生成过程
ThisisWilli
08-30 664
flink源码阅读之ExecutionGraph的生成过程 StreamGraph和JobGraph都是在client端生成的，JobGraph相比于StreamGrap，已经有了一定程度上的优化，当client将JobGraph提交给JobManager时，JobManager会根据JobGraph生成对应的ExecutionGraph。TaskManager最终会根据ExecutionGraph执行任务 flink运行架构 在了解ExecutionGraph的生成过程时，首先要了解flink的运行架构，
二十一、Flink源码阅读--ExecutionGraph生成过程
大数据之路
06-07 1042
在上一篇服务端处理jobGraph提到，jobGraph是转换为executionGraph，最后被执行调度的，那么本篇我们看下这一过程的源码 源码分析 从JobMaster的启动开始讲起 JobMaster.start—>JobMaster.startJobExecution—>resetAndScheduleExecutionGraph方法将JobGraph转换为 Execut...
Flink Graph
Kruskual的博客
01-26 867
Flink Graph 早期，Batch和Stream的图结构和优化方法有很大的区别，所以批处理使用OptimizedPlan来做Batch相关的优化，使用StreamGraph表达流计算的逻辑，最终都转换为JobGraph，实现了流批的统一。 流计算应用的Graph转换 　　对于流计算应用来说，首先将DataStreamAPI的调用转换为Transformation，然后经过StreamGraph->JobGraph->ExecutionGraph3层转换（Flink内置的数据结构），最后经过
Flink作业执行详解：从StreamGraph到物理执行计划
最终，Flink将`ExecutionGraph`转换为一个物理执行计划，这可能涉及到任务分配到特定的集群节点，数据分发策略以及数据局部性优化。Flink会根据可用的硬件资源动态调整执行策略。 整个流程中，Flink的内部工具，如...
Flink 内容分享(一)：Fink原理、实战与性能优化(一)_flink原理、实战与性能优化
最新发布
afagagagaa的博客
06-20 569
Flink程序开发的流程总结如下：1）获得一个执行环境2）加载/创建初始化数据3）指定数据操作的算子4）指定结果数据存放位置5）调用execute()触发执行程序注意：Flink程序是延迟计算的，只有最后调用execute()方法的时候才会真正触发执行程序。
flink的物理执行图
define_us的专栏
03-29 512
https://developer.aliyun.com/article/225618 概念 https://www.freesion.com/article/4063674538/ Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算
Flink并行度和算子链以及数据图执行图
weixin_40659514的博客
10-28 3248
flink并行度
Flink 任务调度源码分析4 （物理执行图（Task 的调度和执行））
m0_46449152的博客
02-11 531
物理执行图：JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的“图”，并不是一个具体的数据结构 它包含的主要抽象概念有： 1、Task：Execution被调度后在分配的 TaskManager 中启动对应的 Task。Task 包裹了具有用户执行逻辑的 operator。 2、ResultPartition：代表由一个Task的生成的数据，和ExecutionGraph中的IntermediateResultParti
flink学习（四）——flink任务执行原理详解
Yohohaha的博客
12-19 3576
在前文中我们学习了flink的整体架构和任务提交执行的流程。现在我们来学习flink在内部具体如何执行任务。 任务执行图 在flink中有四层执行图，StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图，如图所示： StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图，用来表示程序的拓扑结构。每个转换操作会生成一个StreamNode，两个StreamNodes之间由StreamEdge连接在一起，Str
Flink运行时之生成作业图
VinoYang的专栏
02-21 7500
生成作业图在分析完了流处理程序生成的流图（StreamGraph）以及批处理程序生成的优化后的计划（OptimizedPlan）之后，下一步就是生成它们面向Flink运行时执行引擎的共同抽象——作业图（JobGraph）。
Flink ExecutionGraph核心对象
qq_24186017的博客
10-03 570
​ 前几篇文章分析了StreamGraph、JobGraph。这篇文章分析JobGraph的下一步ExecutionGraph的核心对象 ​
Flink1.12源码解读——ExecutionGraph执行图构建过程
ws0owws0ow的博客
03-01 1220
Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。 Flink分为四种执行图，本章主要解析Execution的生成计划 本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。 此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理
Flink源码阅读笔记——StreamGraph、JobGraph、ExecutionGraph
weixin_47866171的博客
08-29 834
Flink源码阅读笔记——StreamGraph、JobGraph、ExecutionGraph
Flink1.12源码解读——物理执行图（一）之TM实例构建过程
ws0owws0ow的博客
03-04 1004
Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。 Flink分为四种执行图，本章主要解析物理执行图的生成计划前半部分 本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。 此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理
Flink1.15源码阅读——执行图executiongraph
京河小蚁的博客
08-21 611
执行图是在JobManager生成的,且在创建JobMaster的过程中创建的。本篇是基于per job模式client生成JobGraph之后，就通过submitJob提交给JobManager，JobManager会根据JobGraph生成对应的ExecutionGraph。ExecutionGraph 是Flink作业调度时使用到的核心数据结构，它包含每一个并行的task，每一个intermediate stream以及它们之间的关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值