Flink 源码解析：ExecutionGraph 大数据处理引擎

最新推荐文章于 2024-10-04 03:40:27 发布
最新推荐文章于 2024-10-04 03:40:27 发布
阅读量99 收藏 1
点赞数 1
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DevEnigma/article/details/132546322
版权
大数据 专栏收录该内容
178 篇文章 ¥59.90 ¥99.00
订阅专栏
Apache Flink的ExecutionGraph将用户作业转化为可执行数据流图，包含JobInformation、ExecutionJobVertex、ExecutionVertex、IntermediateResult和ExecutionEdge等组件。文章详细介绍了ExecutionGraph的构建过程，包括解析验证、任务划分、数据交换边创建和任务调度，以及提供源码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink 源码解析：ExecutionGraph 大数据处理引擎

在大数据领域中，Apache Flink 是一个强大的流处理和批处理引擎。其核心组件 ExecutionGraph 负责将用户提交的作业转化为可执行的数据流图。本文将深入探讨 ExecutionGraph 的实现细节，包括相关源代码示例。

ExecutionGraph 的作用是将用户定义的作业转换为执行图，其中包含了作业的拓扑结构、并行任务的划分、任务之间的数据交换等信息。ExecutionGraph 是 Flink 在运行时执行作业的核心数据结构之一。

让我们从 ExecutionGraph 的基本结构开始。在 Flink 中，每个作业都由一个 JobGraph 对象表示。当用户提交作业时，Flink 首先将 JobGraph 转换为 ExecutionGraph，然后执行该图。

ExecutionGraph 包含了以下关键组件：

  1. JobInformation：存储与作业相关的元数据，如作业 ID、作业名称、作业提交时间等。

  2. ExecutionJobVertex：表示作业图中的一个顶点，对应一个并行任务。ExecutionJobVertex 包含了与任务相关的信息，如任务名称、并行度、输入边、输出边等。

  3. ExecutionVertex：表示 ExecutionJobVertex 在特定并行实例上的执行。ExecutionVertex 包含了任务

了解本专栏 订阅专栏 解锁全文
【Flink】Flink 源码之ExecutionGraph
九师兄
01-16 496
1.概述 以前的一个老文章基于 Flink 1.9版本的，现在是基于flink 1.13版本的。 参考：95-230-028-源码-WordCount走读-获取ExecutionGraph 本文转载：Flink源码分析系列文档目录 2.从JobGraph到ExecutionGraph JobGraph通过Dispatcher.submitJob方法提交。这是后续流程的入口方法。该方法调用了Dispatcher.internalSubmitJob，然后是Dispatcher.persistAndRunJob.
Flink 执行图（ExecutionGraph）的源码解析与大数据应用
PixelInk的博客
08-30 186
而 Flink 的核心组件之一就是执行图（ExecutionGraph），它是 Flink 在运行时构建的一个有向无环图，用于描述数据流程序的逻辑结构。通过执行图的构建、优化与执行，Flink 可以实现任务链合并、任务调度和数据倾斜处理等功能，从而提高大数据处理的性能和效率。最终，Flink 会将执行图转化为可以运行在 TaskManager 上的任务（Task），并将其提交给 TaskExecutor 进行执行。在 Flink 中，执行图是以顶点（Vertex）和边（Edge）的形式组织起来的。
Flink1.12源码解读——ExecutionGraph执行图构建过程
ws0owws0ow的博客
03-01 1231
Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。 Flink分为四种执行图，本章主要解析Execution的生成计划 本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。 此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理
Flink源码--ExecutionGraph
bigdatakenan的博客
08-30 292
在JobGraph向ExecutionGraph转化的过程中，主要的工作内容为根据Operator的并行度来拆分JobVertex，每一个JobGraph中的JobVertex对应的ExecutionGraph中的一个ExecutionJobVertex，而每一个ExecutionJobVertex根据自身并行度会拆分成多个ExecutionVertex。同时会有一个IntermediateResultPartition对象来接收ExecutionVertex的输出。
Flink中ExecutionGraph的构建
m0_43437171的博客
02-17 1063
在JobGraph向ExecutionGraph转化的过程中，主要的工作内容根据Operator的并行度来拆分JobVertext,每一个Jobvertex根据自身并行度会拆分成多个ExecutionVertex,使用IntermediateResultPartition对象来接收ExecutionVertex的输出。对于同一个ExecutionVertex的多个输出IntermediaResultPartition对象组成了一个IntermediateResult对象。
Flink作业转换-ExecutionGraph(四层执行图)
weixin_44844089的博客
05-21 1767
概述 Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：即根据用户编写的Stream API而生成的最初的作业拓扑图，表示程序的拓扑结构。 JobGraph：StreamGraph会经过作业链优化生成JobGraph，提交给 JobManager 的数据结构。主要的优化为，将并行度相同且流传输模式为one-to-one的节点 chain 在一起作为一个节点，这样可以减少数据在
Flink源码解读(三)：ExecutionGraph源码解读
Stray_Lambs的博客
05-07 1082
ExectionGraph执行图 在Flink中ExecutionGraph执行图是协调数据流的分布式执行的中心数据结构，它保留了每个并行任务、每个中间流以及它们之间的的通信表示。StreamGraph和JobGraph的转化生成都是在Flink客户端，而最终Flink作业运行时调度层的核心执行图ExecutionGraph是在服务器的JobManager中生成的。 ExecutionGraph在实际处理转换上只是改动了GobGraph的每个节点，并没有对整个拓扑结构进行改变。主要发生以下转...
Flink源码全面解析：架构、启动流程及机制深度分析
以上所述，Flink源码分析可以让我们更深入地理解它的运行机制，从源码层次洞察其高性能、容错及易于使用的特性。通过掌握其源码和运行机制，开发者可以更有效地解决生产环境中遇到的问题，并能更合理地优化和调整...
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6403
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink源码剖析
最新发布
weixin_37172178的博客
10-04 2168
执行环境 ExecutionEnvironment数据抽象 DataSet DataStream逻辑操作 Source Transformation Sink1. 获取执行环境2. 通过执行环境对象，注册数据源Source，得到数据抽象3. 调用数据抽象的各种Transformation执行逻辑计算4. 将各自Transformation执行完毕之后得到的计算结果数据抽象注册Sink5. 提交Job执行。
Flink学习笔记（三）：Flink四种执行图
u011047968的专栏
10-19 3424
在 JobGraph 的基础上结合各算子的并行度生成的就是 ExecutionGraph （ExecutionGraph与 JobGraph 最大的区别就是按照并行度将每个算子的任务拆分成了多个并行的子任务，并明确了任务间数据传输的方式。：代表由一个 Task 的生成的数据，和 ExecutionGraph 中的 IntermediateResultPartition 一一对应。：Execution 被调度后在分配的 TaskManager 中启动对应的 Task。用来表示程序的拓扑结构。
Flink 深入理解任务执行计划，即Graph生成过程（源码解读）
Direction_Wind的博客
02-21 2205
可以看到上述所有算子都被按执行顺序添加进了transformations 这个 List 中，接下来就是根据算子是否有座shuffle操作来把算子分成两类，分别是StreamNode的非shuffle算子, 以及上下游做shuffle的streamEdge操作，并且将streamEdge操作 与 StreamNode 绑定，来形成一个有前后顺序的DAG图。Flink 会根据节点的并行度以及他们之间的连边方式，把一些计算节点进行链接合并，最终形成 JobGraph，从而降低计算节点间的数据传输开销。
二十一、Flink源码阅读--ExecutionGraph生成过程
大数据之路
06-07 1047
在上一篇服务端处理jobGraph提到，jobGraph是转换为executionGraph，最后被执行调度的，那么本篇我们看下这一过程的源码 源码分析 从JobMaster的启动开始讲起 JobMaster.start—>JobMaster.startJobExecution—>resetAndScheduleExecutionGraph方法将JobGraph转换为 Execut...
Flink1.15源码阅读——执行图executiongraph
京河小蚁的博客
08-21 621
执行图是在JobManager生成的,且在创建JobMaster的过程中创建的。本篇是基于per job模式client生成JobGraph之后，就通过submitJob提交给JobManager，JobManager会根据JobGraph生成对应的ExecutionGraph。ExecutionGraph 是Flink作业调度时使用到的核心数据结构，它包含每一个并行的task，每一个intermediate stream以及它们之间的关系。
Flink 1.13 源码解析——Graph的转化以及ExecutionGraph的构建
EdwardWang_的博客
10-13 2096
Flink 1.13 源码解析——Graph的转化以及ExecutionGraph的构建
flink笔记：027 作业图（JobGraph）与执行图（ExecutionGraph）
weixin_43015677的博客
04-02 619
由 Flink 程序直接映射成的数据流图（dataflow graph），也被称为逻辑流图（logical StreamGraph），因为它们表示的是计算逻辑的高级视图。四层：逻辑流图（StreamGraph）→ 作业图（JobGraph）→ 执行图（ExecutionGraph）→ 物理图（Physical Graph）。在这个转换过程中，有几个不同的阶段，会生成不同层级的图，其中最重要的就是作业图（JobGraph）和执行图（ExecutionGraph）。
Flink ExecuteGraph构建源码解析
老码农的博客
03-07 1605
JobManager(JobMaster) 根据 JobGraph 生成 ExecutionGraph。ExecutionGraph是JobGraph 的并行化版本，是调度层最核心的数据结构。
Flink-ExecutionGraph的构成
jacky_wang_123的专栏
10-25 574
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录 前言 一、ExecutionGraph的详细构成 ExecutionJobVertex IntermediateResult 二、ExecutionGraph是如何生成的？ 总结 前言 JobManager 根据 JobGraph 生成 ExecutionGraph。ExecutionGraph 是 JobGraph 的并行化版本，是调度层最核心的数据结构。 主要的变化如下： JobVertex 变成了
flink实战--StreamGraph，JobGraph，ExecutionGraph生成流程解析
阿华田的博客
03-26 906
简介 Flink在执行用户的任务时，会涉及到StreamGraph，JobGraph，ExecutionGraph，物理执行图。其中StreamGraph和JobGraph是在client端生成的，ExecutionGraph是在JobMaster中执行的，本文将详细介绍这些Graph的生成流程，方便大家对Flink内部执行流程有一个清晰的认识。 StreamGraph是根据用户代码生成的最原始执行图，也就是直接翻译用户逻辑得到的图 JobGraph是对StreamGraph进行优化.....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值