flink实战--StreamGraph，JobGraph，ExecutionGraph生成流程解析

已于 2024-03-08 14:56:09 修改
阅读量807 收藏 1
点赞数
分类专栏： Flink学习必读系列 文章标签： flink flink执行计划 StreamGraph JobGraph
于 2022-03-26 18:03:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa518189/article/details/123672612
版权
本文详细介绍了Flink任务执行时StreamGraph、JobGraph、ExecutionGraph的生成过程及其功能。StreamGraph由用户代码转换而来，JobGraph在StreamGraph基础上优化，设置Task链关系，ExecutionGraph加入并行度概念，成为可调度结构。文章还涵盖了JobGraph到ExecutionGraph的转换，作业执行状态以及Task生命周期的关键点。
摘要由CSDN通过智能技术生成

简介

             Flink在提交并执行任务时,首先会生成执行计划，依次生成StreamGraph、JobGraph、 ExecutionGraph、物理执行图。其中StreamGraph和JobGraph是在client端生成的,ExecutionGraph是在JobMaster中执行的，JobMaster根据 JobGraph 生成ExecutionGraph。方便调度和监控和跟踪各个 tasks 的状态。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构,本文将详细介绍这些Graph的功能以及生成流程，方便大家对Flink内部执行流程有一个清晰的全局认识。

StreamGraph、JobGraph、ExecutionGraph的功能

1.StreamGraph

             根据用户代码生成的最原始执行图，StreamGraph其实就是由用户代码中涉及到transformations转换来的，它包含两个重要元素，StreamNode和StreamEdge。StreamGraph的生成发生在用户调用了env.execute() 方法之后，而在这之前，用户编写的应用程序会转换成一个包含了Transformation的集合,SteamEdge用来表示transfor

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
专栏目录
订阅专栏
flink实战--flink原理解析
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
flink实战--flink面试题大全
阿华田的博客
12-30 1159
第一部分：Flink 中的核心概念和基础考察 一、 简单介绍一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。 Flink提供了诸多高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Fl...
Flink 源码笔记03—StreamGraph到JobGraph
yiyezhiqiu167的博客
10-13 629
文章目录简介入口函数traverseStreamGraphAndGenerateHashesgenerateDeterministicHashgenerateUserSpecifiedHashsetChainingisChainable 简介 JobGraph 可以认为是 StreamGraph 的优化图，它将一些符合特定条件的 operators 合并成一个 operator chain，以减少数据在节点之间序列化/反序列化以及网络通信带来的资源消耗。 入口函数 与 StreamGraph 的生成类似，调
Flink源码阅读笔记——StreamGraph、JobGraph、ExecutionGraph
weixin_47866171的博客
08-29 751
Flink源码阅读笔记——StreamGraph、JobGraph、ExecutionGraph
flink streamGraph生成jobGraph
不说话装高手
02-08 1545
当需要通过streamGraph生成jobGraph的时候，通过StreamingJobGraphGenerator的createJobGraph()方法来生成。 public static JobGraph createJobGraph(StreamGraph streamGraph, @Nullable JobID jobID) { return new StreamingJobGr...
flink源码阅读之ExecutionGraph的生成过程
ThisisWilli
08-30 630
flink源码阅读之ExecutionGraph的生成过程 StreamGraph和JobGraph都是在client端生成的，JobGraph相比于StreamGrap，已经有了一定程度上的优化，当client将JobGraph提交给JobManager时，JobManager会根据JobGraph生成对应的ExecutionGraph。TaskManager最终会根据ExecutionGraph执行任务 flink运行架构 在了解ExecutionGraph的生成过程时，首先要了解flink的运行架构，
Flink学习笔记（三）：Flink四种执行图
u011047968的专栏
10-19 2812
在 JobGraph 的基础上结合各算子的并行度生成的就是 ExecutionGraph （ExecutionGraph与 JobGraph 最大的区别就是按照并行度将每个算子的任务拆分成了多个并行的子任务，并明确了任务间数据传输的方式。：代表由一个 Task 的生成的数据，和 ExecutionGraph 中的 IntermediateResultPartition 一一对应。：Execution 被调度后在分配的 TaskManager 中启动对应的 Task。用来表示程序的拓扑结构。
【Flink博客阅读】 Flink 作业执行深度解析(WordCount) 读后实战总结
wuhulala的休息室
06-21 945
Flink 作业执行解析 所有有关Flink作业执行的介绍都包含以下的这个流程，今天我们就是实战一些这些转换是如何完成的？ CodeStreamGraphJobGraphExecutionGraph物理执行计划 StreamGraph Class representing the streaming topology. It contains all the information necessary to build the jobgraph for the execution. 这个类表示流处理的拓扑
精通Flink原理必读 -《Flink内核原理与实现》
ffjl1985的专栏
09-03 5371
《Flink内核原理与实现》既讲解了Flink的入门、安装、流计算开发入门、类型和序列化系统、监控运维、安全管理配置等基础知识，又讲解了Flink的时间概念、Window的实现原理及其代码解析，Flink的容错机制原理，Flink容错的关键设计、代码实现分析，Flink Job从源码到执行整个过程的解析，Flink Job的调度策略、资源管理策略、内存管理、数据交换的关键设计和代码实现分析，Flink的RPC通信框架等深度内容。 《Flink内核原理与实现》适合对实时计算感兴趣的大数据开发、运维领域的从业
第一课 大数据技术之Fink1.13的实战学习-部署使用和基础概念
QnHyn
06-11 1842
Flink
Flink源码系列——获取JobGraph的过程
混混的博客
03-10 3258
接《Flink源码系列——获取StreamGraph的过程》获取到StreamGraph后，继续分析，如果通过获取到的StreamGraph来转化为JobGraph。转化逻辑在StreamingJobGraphGenerator这个类中，入口是createJobGraph(StreamGraph)方法。先是初始化了一个StreamingJobGraphGenerator的实例，StreamingJ...
flink-处理流程和执行图
互联网知识分享
05-18 925
那意味着 map 算子的子任务看到的元素的个数以及顺序跟 source 算子的子任务生产的元素的个数、顺序相同， map、fliter、flatMap 等算子都是 one-to-one 的对应关系。）Flink 这样相连的算子链接在一起形成一个 task，原来的算子成为里面的一部分。将算子链接成 task 是非常有效的优化：它能减少线程之间的切换和基于缓存区的数据交换，在减少时延的同时提升吞吐量。）前言：这里我们演示的是是一台节点的flink，这里使用的solt是一个，即默认的。用来表示程序的拓扑结构。
Apache Flink学习笔记（5）Flink中的程序结构和4种Graph
liutao43的博客
04-11 428
参考 https://niyanchun.com/flink-quick-learning-graph.html https://niyanchun.com/flink-quick-learning-graph.html Flink程序 Flink程序都是由三部分组成:Source 、Transformation和Sink。 Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出 4种Graph 如上图，Flink中有4种图：StreamGraph、Job
Flink1.12源码解读——ExecutionGraph执行图构建过程
ws0owws0ow的博客
03-01 1120
Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。 Flink分为四种执行图，本章主要解析Execution的生成计划 本章及后续源码解读环境以生产为主：运行模式：OnYarn，HA模式：ZK，Mode：Streaming，关键逻辑解释我会备注到代码上（灰色字体）勿忽视。 此章节涉及的组件和框架的代码依赖部分大数据生态包括Yarn，Akka，ZK等。建议有此基础上阅读会提高可阅读性和实现理
【Flink】详解JobGraph
pcx171的博客
02-12 857
本文从源码出发，详细介绍了flink如何对StreamGraph进行优化进而构建JobGraph对象，并在最后给出了自己的总结。
深入理解Flink基于StreamGraph构建JobGraph的流程
墨玉浮白的博客
12-27 361
构建JobGraph
FLink中StreamGraph的构建
最新发布
m0_43437171的博客
02-12 1305
Graph的概念： Flink中的执行图可以分为四层：StreamGraph—>JobGraph—>ExecutionGraph—>物理执行图 StreamGraph:是根据用户通过StreamAPI编写的代码生成的最原始的图，用来表示程序的拓扑结构。 JobGraph:StreamGraph经过优化后生成了JobGraph,提交给JobManager的数据结构。主要优化chain合并算子链，减少数据在节点之间，序列化、反序列化、以及网络传输的消耗。 ExecutionGraph：JobManager根据J
Flink源码--ExecutionGraph
bigdatakenan的博客
08-30 243
在JobGraph向ExecutionGraph转化的过程中，主要的工作内容为根据Operator的并行度来拆分JobVertex，每一个JobGraph中的JobVertex对应的ExecutionGraph中的一个ExecutionJobVertex，而每一个ExecutionJobVertex根据自身并行度会拆分成多个ExecutionVertex。同时会有一个IntermediateResultPartition对象来接收ExecutionVertex的输出。
【Flink】Flink 源码之ExecutionGraph
九师兄
01-16 462
1.概述 以前的一个老文章基于 Flink 1.9版本的，现在是基于flink 1.13版本的。 参考：95-230-028-源码-WordCount走读-获取ExecutionGraph 本文转载：Flink源码分析系列文档目录 2.从JobGraph到ExecutionGraph JobGraph通过Dispatcher.submitJob方法提交。这是后续流程的入口方法。该方法调用了Dispatcher.internalSubmitJob，然后是Dispatcher.persistAndRunJob.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值