Flink内核源码解析系列（十七）：JobMaster向ResourceManager申请slot

最新推荐文章于 2023-08-24 16:36:14 发布
最新推荐文章于 2023-08-24 16:36:14 发布
阅读量162 收藏
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117904012
版权

到此位置，JobManager三大组件都启动了，启动之后，JobManager就要向ResourceManager申请资源。来看看源码：

// TODO 与rm建立连接，slotPool开始向rm请求资源
resourceManagerLeaderRetriever.start(new ResourceManagerLeaderListener());

向RM注册

经过下面层层调用：
resourceManagerLeaderRetriever.start(new ResourceManagerLeaderListener());
->or

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
专栏目录
订阅专栏
Flink内核源码解析系列（十八）：TaskManager启动
打工日常
06-14 144
上一篇文章《Flink内核源码解析系列（十七）：JobMaster向ResourceManager申请slot》讲到：JobMaster向Resource Manager申请资源，Yarn Resource Manger会根据申请资源的多少去启动对应的TaskManger。 在讲之前，先说下，在1.12版本前，TaskManger的进程名字叫TaskMangerRunner，1.12后叫TaskExecutorRunner。实际上，TaskExecutorRunner也是调用TaskMangerRunner
Flink源码阅读(三)JobManager
abcdef324的博客
04-23 369
简介 参照官方文档的描述,可以知道JobManager主要是以一个协调者的身份存在的。 The JobManagers (also called masters) coordinate the distributed execution. They schedule tasks, coordinate checkpoints, coordinate recovery on failures, e...
Flink源码系列(创建JobMaster并生成ExecutionGraph)-第七期
Airy的博客
05-07 644
上一期指路： 上一期主要讲了flink内部的rm的创建，Dispatcher的创建与启动，之前也说过在Dispatcher的启动过程中会涉及JobMaster的创建与启动，那么这一期的主题是创建JobMaster并生成ExecutionGraph。 承接上一期分析到Dispatcher的onStart函数 1.Dispatcher#startRecoveredJobs->Dispatcher#runRecoveredJob->Dispatcher#runJob private
Flink 1.9源码学习05 ----Job启动JobManager端源码分析
qq_31866793的博客
10-10 240
Driver将用户代码转换成streamGraph再转换成Jobgraph后向Jobmanager端提交 JobManager启动以后会在Dispatcher.java起来RPC方法submitJob(jobGraph),用于接收来自Driver转化得到的JobGraph来启动任务 具体来看jobGraph提交到JobManager的submitJob方法 package org.apac...
flink jobmanager高可用配置及故障演练
06-06 3018
flink jobmanager高可用配置及故障演练
Flink on yarn 过一会儿就挂掉了，CDH5.16.2和FLINK1.14.0
最新发布
qq_34224360的博客
08-24 400
2023-08-24 15:25:42,895 INFO org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.ZooKeeper [] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib 2023-08-24 15:25:42,895 INFO org.apache.flink.shaded.zoo
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6221
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink内核源码解析--Flink中重要的工作组件和机制
weixin_42492886的博客
08-16 870
这是因为Flink节点与节点之间，组件与组件之间通信采用的是Akka，但是数据交换，比如算子与算子之间的数据交换采用的是Netty，比如Flink中有JobManager，还有TaskManager从节点，而JobManager主节点里面有一些组件，比如JobMaster，Dispatcher等，组件与组件之间通信采用的是Akka，而Netty是算子与算子之间，比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。
Flink内核源码解析
LaZY的博客
05-06 557
参考 提交流程 程序入口 yarn-per-job模式： 运行程序后启动的进程： Clifrontend（相当于client） Yarnjobclusterentrypoint（相当于JM） Taskexecutorrunner（相当于TM） 程序入口：Org. Apache. Flink. Client cli. Clifrontend ...
Flink源码系列(ResourceManager启动、JobMaster启动)-第八期
Airy的博客
05-08 725
上一期指路 上上一期和上一期主要讲Flink内部的组件rm、jm、Dispatcher介绍，但其实rm和jm的启动还没有分析，只是在上上一期分析了rm的创建以及上一期分析的jm的创建，所以这一期主要是一个善后的内容，主要用于补充rm和jm的真正启动。 从之前的我们分析到的这个函数，即DefaultDispatcherResourceManagerComponentFactory中的create开始 1.DefaultDispatcherResourceManagerComponentFacto
Flink 1.13 源码解析——JobManager启动流程概览
EdwardWang_的博客
08-25 2115
Flink 1.13 源码解析之 JobManager启动流程
Flink源码系列(JobMaster提交任务给TaskExecutor并执行)-第十二期
Airy的博客
05-26 788
上一期指路： 从第八期讲到的JobMaster的启动，直到后面第九期到第十一期都是基于下图的分支①，那么我们继续分析分支②，也就是说TaskExecutor向SlotManager注册slot后，SlotManager分配slot告诉TaskExecutor去提供slot给JobMaster，JobMaster就可以提交执行任务到TaskExecutor的slot中去执行了。 1.一系列套娃般的跳转 JobMaster#resetAndStartScheduler->JobMaster
Flink源码篇 No.9-任务提交之注册Slot（per-job on yarn）
pezynd的专栏
10-31 4395
第1章
flink on yarn部署
AttributeSet的博客
04-21 2768
官网下载对应的版本 flink版本-1.13.6 hadoop版本-3.2.1 步骤： 首先安装jdk 1、配置hosts vi /etc/hosts 例如： 192.168.0.1 flink1 192.168.0.3flink2 192.168.0.3flink3 2、防火墙关闭 firewall-cmd --state # 查看是否running systemctl stop firewalld #停止firewall systemctl disable fire...
Flink源码篇 No.7-任务提交之JobManager申请资源（per-job on yarn）
pezynd的专栏
10-07 1182
第1章 启动JobManager 我们从jobManager启动的方法开始看 org.apache.flink.runtime.jobmaster.JobMaster#startJobExecution private Acknowledge startJobExecution(JobMasterId newJobMasterId) throws Exception { // 验证是否在主线程 validateRunsInMainThread(); checkNotNull(newJobM
flink on yarn 集群模式启动报错及解决方案汇总
热门推荐
大数据技术博客
03-17 1万+
注意：想要使用flink on yarn 模式，需要确保hadoop集群启动成功，并且需要在yarn的某一个节点上面执行flink on yarn的脚本 没有启动hadoop集群，执行flink的bin/yarn-session.sh脚本会报下面错误 脚本会一直卡在这里，一直输出重试日志，连不上resoucemanager，说明hadoop集群每启动 2018-03-17 12:30:...
Flink源码-6-JobMaster 启动任务
csdn问鼎
05-17 804
JobMaster jobmaster负责执行整个任务 入口类 org.apache.flink.runtime.jobmaster.JobMaster public CompletableFuture<Acknowledge> start(final JobMasterId newJobMasterId) throws Exception { // make sure we receive RPC and async calls start(); return callAsync
Flink源码-5-dispatcher,jobmanager,jobmaster关系
csdn问鼎
05-17 1166
模式 在yarn-session模式下，共享一个dispatcher org.apache.flink.runtime.dispatcher.Dispatcher 这个类，这里接收到客户端传上来的作业图 代码分析 //这里就是分发器接收到作业图 @Override public CompletableFuture<Acknowledge> submitJob(JobGraph jobGraph, Time timeout) { log.info("Received JobGraph s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值