flink提交流程源码分析

最新推荐文章于 2023-09-25 08:21:22 发布
最新推荐文章于 2023-09-25 08:21:22 发布
阅读量391 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42908473/article/details/114501388
版权
本文详细介绍了Apache Flink任务在YARN上的提交流程，包括从bin/flink run命令开始，经过参数解析、JobGraph生成、资源配置、TaskManager启动等步骤，直至TaskExecutor运行并执行任务的完整过程，深入理解大数据处理框架的内部工作机制。
摘要由CSDN通过智能技术生成

大厂注重对底层源码的理解:hadoop,spark,flink
在这里插入图片描述

flink提交流程：
(1)以yarn-per-job模式提交流程为例，bin/flink run -t yarn-per-job -c com.xxx.xxx.WordCount ./WordCount.jar
(2)1.1脚本启动执行
1.2解析参数CliFrantendParser
1.3使用FlinkYarnSessionCli
1.4执行用户代码
1.5生成StreamGraph流图
1.6生成JobGraph
1.7上传jar包和配置
1.8封装提交参数和命令
bin/java ApplicationMaster -jar --class …
1.9YarnClient向Resourmanager提交任务信息submitApplication
(3)Resourcemanager向Nodemanager发送信息，在NodeManager上启动ApplicationMaster
(4)3.1AM启动Dispatcher
3.2AM启动ResourceManager(自身的)
3.3Dispatcher启动JobMaster
3.4JobMaster生成ExecutionGraph
(5)SlotManager实时检查所需的slot是否足够，向SlotPool注册、请求slot
(6)SlotManager向ResourceManager申请资源requestNewWorker
(7)启动TaskManager
(8)runTashManager启动TaskExecutor
(9)TaskExecutor向SlotManager注册slot
(10)SlotManager向TaskExecutor分配slot
(11)TaskExecutor向SlotPool提供slot
(12)最后提交执行sumitTask()

Mr Fmy
关注
空0017
Direction_Wind的博客
02-22 1215
17。
Flink k8s native application mode模式提交流程源码解析终结版
打工日常
12-25 1048
文章部分截图如下： 本文很长，内容讲的也很详细。更多详细内容请看如下链接： 【腾讯文档】Flink k8s native application mode模式提交流程源码解析终结版 https://docs.qq.com/doc/DRkF1YUZPdVB5UGJO 如无法查看，请先购买付费专栏，再备注昵称申请查看权限。 已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解 ...
Flink内核源码（一）任务提交流程
小朱小朱绝不认输的博客
07-12 2703
Flink内核源码学习，对于Yarn-per-job模式的任务提交过程，通过源码深入了解执行过程。
Flink1.15源码解析--任务提交流程----flink run
chbxw
11-11 1272
flink-1.15源码解析-- 任务提交
Flink源码解析: Flink客户端提交程序源码过程
徐腾瑞的博客
08-10 553
系列文章目录 Flink源码分析:Flink SQL Submit源码提交过程 (1) Flink源码分析:基于事件时间场景下WaterMark源码分析 Flink源码分析: 重启策略机制RestartStrategy Flink源码分析: 广播状态流实现动态更新或字段参数变更 Flink源码分析: Flink JDBC Upsert模式实现原理 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 上期解
Flink原理与调优
寒暄的博客
03-18 3910
Flink提交流程(Yarn-Per-Job) 1. client运行脚本提交命令。 2. CliFrontend实例化CliFrontendParser进行参数解析。 3. CliFrontend实例化YarnJobClusterExecutor并创建客户端。 4. 在客户端中实例化YarnClusterDescriptor封装YarnClient信息，包含提交参数和命令。 5. 将信息提交给RM。 6. RM向NM的yarnRMClient发送消息，启动APPmaster。 7. NM分配资源生成AP
flink checkpoint 流程源码分析
yuchuanchen的专栏
05-14 1813
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr
Flink Sql Gateway源码分析
野狼e族 的博客
01-31 1157
Flink Sql Gateway是Flink集群的“任务网关”，支持以rest api的形式提交查询、插入、删除等任务。 官网推荐与Flink jdbc driver搭配使用，不过jdbc driver限制了很多功能，如果自己开发数据平台，最好还是直接使用sql gateway。想要透彻的使用sql gateway，需要了解一下问题： 1 如何处理并发请求？多个提交怎么处理？ 2 如何维护多个sql之间的关联性？ 3 sql字符串如何提交到集群形成代码 4 sql-gateway都支持哪些功能？
flink standalone 客户端提交源码分析
m0_46449152的博客
10-16 386
启动入口 CliFrontend.main -> cli.parseParameters -> ACTION_RUN run(params); -> executeProgram -> invokeInteractiveModeForExecution -> callMainMethod(){ mainMethod = entryClass.getMethod("main", String[].class); mainMethod.invoke(null, (
Flink on yarn 实战和源码分析
最新发布
yelangshisan的专栏
09-25 576
其他两种模式都要在本地管理依赖资源，运行main方法然后生成JobGraph并提交到集群，不仅增加了网络传输的压力，还消耗了客户端大量的CPU资源。注意：application 方式 使用的action为 run-application，而 per-job session mode 都是 run -t。另外，应用模式支持提交多个作业，作业的顺序依赖于启动顺序。1、找到bin/flink 提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend。
Flink 1.11.0 job提交流程源码解析（精髓)
乾坤瞬间的博客
10-24 1397
文章目录1. 首先StreamExecutionEnvironment是流作业的一个执行环境2. StreamGraph的创建3. 异步创建一个JobClient客户端1. 创建一个执行器。2. pipeline到jobgraph的转化1.激活配置文件（准备JobGraph的配置）2. 翻译Translator （执行JobGraph转化）异步提交任务到Cluster（集群）中，并获取Job客户端1. LocalExecutor 构建器2. RemoteExecutorRestServerEndpoint
flink系列(9)-flink任务提交流程分析
weixin_34292959的博客
04-20 3904
2019独角兽企业重金招聘Python工程师标准>>> ...
十三、Flink源码阅读--Client提交任务过程
大数据之路
05-31 4219
我们以flink中自带的wordcount例子作为提交任务，查看在客户端Flink提交任务的详细源码步骤。 入口分析 首先我们看一下提交命令如下： bin/flink run examples/batch/WordCount.jar 接着会在bin/flink shell脚本中找到提交的主类org.apache.flink.client.cli.CliFrontend。我们从CliFron...
Apache Flink流作业提交流程分析
VinoYang的专栏
07-17 1万+
提交流程调用的关键方法链用户编写的程序逻辑需要提交给Flink才能得到执行。本文来探讨一下客户程序如何提交给Flink。鉴于用户将自己利用Flink的API编写的逻辑打成相应的应用程序包（比如Jar）然后提交到一个目标Flink集群上去运行是比较主流的使用场景，因此我们的分析也基于这一场景进行。
Flink源码--CLI提交Job
lmalds的专栏
04-14 7988
Flink
Flink 1.13 源码解析——Flink 作业提交流程 上
EdwardWang_的博客
09-07 2090
Flink 1.13 源码解析 Flink 作业 提交流程
Flink源码系列——Flink中一个简单的数据处理功能的实现过程
热门推荐
混混的博客
03-08 1万+
在Flink中，实现从指定主机名和端口接收字符串消息，对接收到的字符串中出现的各个单词，每隔1秒钟就输出最近5秒内出现的各个单词的统计次数。 代码实现如下： public class SocketWindowWordCount { public static void main(String[] args) throws Exception { /** 需要连接...
flink源码解读--1 命令行提交
peidezhi的专栏
01-21 559
1 提交自己打包的流job ./bin/flinkrun -c com.tclking.ai.PVUVDayMain -m yarn-cluster examples/batch/WordCount.jar 2 flink 脚本内容： target="$0" iteration=0 # 判断脚本名合法性 while [ -L "$target" ]; do if...
Flink提交任务（总篇）——执行逻辑整体分析
hxcaifly的博客
02-21 1万+
Flink客户端提交任务执行的逻辑分析 针对Flink1.7-release版本 前言 Flink的源码体系比较庞大，一头扎进去，很容易一头雾水，不知道从哪部分代码看起。但是如果结合我们的业务开发，有针对性地去跟进源码去发现问题，理解源码里的执行细节，效果会更好。 笔者在近期的Flink开发过程中，因为产品的原因，只允许部署Flink standalone模式，出于性能考虑，很有必要对其性能做下测...
深入解析Flink执行流程：从源码到任务调度
在本文中，我们将通过源码分析来了解Flink的核心执行流程，帮助你更好地理解如何在实际项目中运用Flink。 1. **程序的执行** - **本地模式**：当使用`env.execute()`执行程序时，如果环境是本地环境...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值