FlinkOnYarn源码分析

最新推荐文章于 2023-09-25 08:21:22 发布
最新推荐文章于 2023-09-25 08:21:22 发布
阅读量365 收藏 1
点赞数
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jhkkhtd/article/details/118029480
版权
本文深入分析了Flink对接Yarn的per-job模式下的应用提交过程。从客户端的`flink run`命令开始，详细阐述了从PackagedProgram到StreamExecutionEnvironment的执行，再到YarnJobClusterEntrypoint的启动，包括Dispatcher、ResourceManager和JobManagerRunner的启动流程，以及Task Executor如何启动和申请资源。整个过程揭示了Flink在Yarn上作业调度、执行和协作的机制。
摘要由CSDN通过智能技术生成

收录于话题

#大数据17

#Flink2

Flink可以对接第三方资源进行弹性伸缩，常见的有Yarn、K8S。Flink对接Yarn有两种模式，分别是session模式和per-job模式。由于生产环境多用per-job模式，因此本文主要分析对接Yarn时per-Job模式的提交过程。

Flink提交application语句：./flink run -m yarn-cluster ./flinkApp.jar

客户端提交命令过程分析

该语句最终有入口类org.apache.flink.client.cli.CliFrontend处理，

图片

通过run()函数触发整个流程，最终是调用PackagedProgram的invokeInteractiveModeForExecution（） 

图片

从callMainMethod（mainClass,args) ，可以了解这是调用里我们程序的main函数。这里并不是我们程序直接提交的地方，而是我们业务代码程序进行编译的地方。我们的业务代码通过StreamExecutionEnvironment.execute（）开始编译，首先会编译成Streamgraph，然后通过executeAsync(streamgraph)-》AbstractJobClusterExecutor.execute()进行异步

最低0.47元/天 解锁文章
跃ge
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink系列-1-Flink在yarn上启动源码分析
csdn问鼎
05-05 575
源码准备 git clone https://github.com/apache/flink.git 部署Flink在yarn 可参考 https://blog.csdn.net/qq_22222499/article/details/95519743 流程图分析 入口类 org.apache.flink.yarn.cli.FlinkYarnSessionCli 开启部署 clusterClie...
flink提交命令相关解释
平平无奇小码农~
02-14 4155
一、Flink on Yarn 1.1 、per-job模式 1.1.1、命令 bin/flink run -m yarn-cluster -yn 3 -ys 3 -ynm bjsxt02 -c com.test.flink.wc.StreamWordCount ./appjars/test-1.0-SNAPSHOT.jar 1.1.2、参数解释 -yn,--container <arg> 表示分配容器的数量，也就是 TaskManager 的数量。 -d,--detached：设置在
flink 在yarn 上的运行
zeng6325998的博客
07-28 1258
参考资料 https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html https://www.jianshu.com/p/1b05202c4fb6 （非常的详细） flink在yarn上运行的模式 目前基于的版本是1.11.1 前置条件 hadoop版本最少为2.4.1 flink在yarn上有2种模式 1、Flink YARN Session 2、Run a single Flink .
Flink on yarn 实战和源码分析
最新发布
yelangshisan的专栏
09-25 478
其他两种模式都要在本地管理依赖资源，运行main方法然后生成JobGraph并提交到集群，不仅增加了网络传输的压力，还消耗了客户端大量的CPU资源。注意：application 方式 使用的action为 run-application，而 per-job session mode 都是 run -t。另外，应用模式支持提交多个作业，作业的顺序依赖于启动顺序。1、找到bin/flink 提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend。
flink on yarn部分源码解析 (FLIP-6 new mode)
weixin_30483697的博客
11-02 273
我们在https://www.cnblogs.com/dongxiao-yang/p/9403427.html文章里分析了flink提交single job到yarn集群上的代码，flink在1.5版本后对整个框架的deploy方式重构了全新的流程（参考https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=651...
flink on yarn 启动源码分析
weixin_39545874的博客
03-14 687
flink on yarn 启动问题   有两个月没发文了，这次在沉寂了两个月后带来的是我们在日常启动flink时大都会遇到的一个问题，不过也困扰了我断断续续有两天时间，后来在拨云见日之后发现豁然开朗的本质，其实，我们的解决问题时，有时候还是只浮于表面，而没有看到深藏冰面以下的那一角，所以继续努力是少不了的，那么切开问题，我们来从现象入手吧！ 1.flink启动现象   我们还在用flink on...
selenuim源码分析
weixin_40603855的博客
05-09 349
key_up 松开某个键，实现按下Ctrl+c并且释放： ActionsChains(browser).key_down(Keys.CONTROL).send_keys('c').key_up(Keys.CONTROL).perform()find_element_by_partial_link_text/find_elements_by_partial_link_text通过部分链接文本查找一个或多个元素（部分匹配模式）
P7级Flink大数据精华实战 从Flink大规模集群部署到Flink性能优化 Flink超级实战课程
05-19
P7级Flink大数据精华实战课程分为四个部分依次进阶的进行教学，从初识Flink及计算框架教学，到全面的FlinkOnYarn集群提交与部署，随后转而深入的进行Flink常用API教学。在后半程的课程中，讲师又对Flink中的...
Flink on Yarn模式启动流程源代码分析
weixin_34357887的博客
10-31 517
此文已由作者岳猛授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现，可能有的地方理解有误，请给予指正，多谢。--&gt; 1.命令行启动yarn sessionbin/yarn-session.sh -n 3 -jm 1024 -nm 1024 -st我们...
Flink on Yarn启动流程分析
Han.启书的博客
09-23 2170
HBase BlockCache知识点铺垫 为后面继续梳理BlockCache的核心内容，在此先铺垫一下相关的知识点： BlockCache接口 BlockType BlockCacheKey, Cacheable键值对 CacheStats BlockCache实现 BlockCache接口 从图中可以看出BlockCache接口关心的内容 oper...
flink源码阅读---yarn启动流程
wjandy0211的博客
06-05 235
flink on yarn有两种模式：yarn-seeion 和yarn-job： yarn-seeion：在yarn中初始化一个flink集群，任务都提交到flink集群，flink集群会常驻yarn中，除非手动停止。 yarn-job：每次提交的任务都会创建一个新的flink集群，任务间相互独立，任务执行完之后flink集群消失。 yarn-session 在yarn中初始化一个flink集群，任务都提交到flink集群，flink集群会常驻yarn中，除非手动停止。 创建集群： ...
flink on yarn、资源及状态管理
mapeng765441650的博客
07-05 5255
flink源码学习： http://www.cnblogs.com/bethunebtj/p/9168274.html flink on yarn 执行任务的两种方式 1.yarn-session.sh(开辟资源)+flink run(提交任务) 1.在yarn中起一个守护进程，用于启动多个job,即一个application master 管理多个job 2.启动命令： ./yarn...
基于Flink1.8的Flink On Yarn的启动流程
super_wj0820的博客
06-01 5305
基于Flink1.8版本，分析 On Yarn模式的任务提交过程： 明确提交模式：Job模式和Session模式 分析启动命令，确定Main方法入口
Flink on Yarn - CDH5
baidu_31618421的博客
06-19 1661
本篇文章大概2892字，阅读时间约8分钟根据Flink官网资料，实操CDH5.16.2上配置Flink on yarn，给出了flink on yarn的集成方式和HA的配置方式1文档编...
Flink on Yarn
代码人的自白
07-13 1774
Flink on Yarn 运行原理 第一种：内存集中管理模式 1.启动flink集群 client端需要配置环境变量： YARN_CONF_DIR HADOOP_CONF_DIR HADOOP_HOME 2 ./bin/yaen-session.sh -n 2 -jm 1024 -tm 1024 -d //-n 2 表示指定两个容器 // -jm 102...
Flink on Yarn启动流程分析-1
crazy246的专栏
03-14 446
总体架构： 源码分析要点： 1.客户端执行启动脚本； 2.启动AppMaster; 3.启动Resource Manager &amp; JobManager; 4.启动Node Manager &amp; TaskManager; 5.集群启动完毕后与客户端的交互。 今天先分析第一部分 ------------------------------------1.客户端执行...
flink实战--flink on yarn
阿华田的博客
10-31 5538
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
(6)flink on yarn的任务提交流程以及原理
张不帅
09-04 2299
文章目录任务调度流程任务调度原理 任务调度流程 任务提交后,client向hdfs上传flink的jar包以及配置 向Yarn的ResourceManager提交任务 ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster ApplicationMaster启动后加载flink的jar包和构建环境,启动JobManage...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值