Flink内核源码解析系列（十四）：创建JobManager及对应的三大组件Resource Manager、Dispatcher、JobMaster

最新推荐文章于 2024-02-24 12:32:05 发布
最新推荐文章于 2024-02-24 12:32:05 发布
阅读量408 收藏
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117817924
版权
本文深入探讨Flink内核，详细解析如何启动JobManager及其关键组件Resource Manager、Dispatcher和JobMaster。从runClusterEntrypoint、startCluster到runCluster，逐步揭秘创建过程，包括ResourceManager的创建以及Dispatcher如何启动JobMaster。
摘要由CSDN通过智能技术生成

在《Flink内核源码解析系列（十二）：向Yarn Resource Manager提交任务信息》文章中，讲到了yarn客户端向Resource Manager提交任务，因此下一步就是要创建JobManager进程。

那么怎么启动JobManager进程呢？还记得之前说的YarnJobClusterEntrypoint类就是启动JobManager的入口吗？

翻看这个类的源码，找到main方法，main方法的启动，就是启动JobManager进程。那么在启动的过程中，都做了些什么呢？

接下来有请源码出场：

    public static void main(String[] args)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
专栏目录
订阅专栏
Flink ResourceManager资源管理
李孟的博客
03-21 1565
文章目录一.基本概念1.1 相关组件1.2 逻辑层次1.3 两层资源调度二.机制与策略(Flink1.10)2.1 TaskManager有哪些资源？2.2 Slot有哪些资源？2.3 TaskManager管理2.4 Cluster -> Job 资源调度的过程2.5 Job -> Task 资源调度的过程2.6 资源调优 一.基本概念 1.1 相关组件 一个 Flink Cluster 是由一个 Flink Master 和多个 Task Manager 组成的，Flink Master
flink分析使用之六JobMaster
fpcc的专栏
06-07 4138
一、JobMaster和JobManager 在上一篇着重分析了工作图的导入和分发，由于版本迭代的缘故，JobMaster和JobManager完成的工作逻辑基本是一样的，这里只介绍Jobmaster，这里不再介绍老的JobManager。在前面提到过，工作的图的传递和分发是通过JobManagerRunner的生成，递送到JobMaster，然后再由ExecutionGraph递送到Task。 ...
Flink源码系列(ResourceManager启动、JobMaster启动)-第八期
Airy的博客
05-08 710
上一期指路 上上一期和上一期主要讲Flink内部的组件rm、jm、Dispatcher介绍，但其实rm和jm的启动还没有分析，只是在上上一期分析了rm的创建以及上一期分析的jm的创建，所以这一期主要是一个善后的内容，主要用于补充rm和jm的真正启动。 从之前的我们分析到的这个函数，即DefaultDispatcherResourceManagerComponentFactory中的create开始 1.DefaultDispatcherResourceManagerComponentFacto
Flink运行时的组件(JobManager, TaskManager, ResourceManager, Dispatcher)
Foools的博客
01-09 540
flink jobmaster分析
u013939918的博客
05-25 498
一、JobMaster和JobManager 在上一篇着重分析了工作图的导入和分发，由于版本迭代的缘故，JobMaster和JobManager完成的工作逻辑基本是一样的，这里只介绍Jobmaster，这里不再介绍老的JobManager。在前面提到过，工作的图的传递和分发是通过JobManagerRunner的生成，递送到JobMaster，然后再由ExecutionGraph递送到Task。 在前面的代码中： public abstract class Dispatcher extends Fence
Flink内核源码解析系列（十六）：Dispatcher、JobMaster的启动
打工日常
06-14 485
在上一篇文章《Flink内核源码解析系列（十四）：创建JobManager及对应的三大组件Resource Manager、Dispatcher、JobMaster》中提到了三大组件的创建和启动，今天来细细讲讲Dispatcher、JobMaster。 回到源码中，细看创建的过程： //TODO 创建和启动 Dispatcher ： dispatcher会创建和启动JobMaster dispatcherRunner = dispatcherR
Flink内核源码解析系列（十五）：Resource Manager的创建和启动详解
打工日常
06-14 344
在上一篇文章《Flink内核源码解析系列（十四）：创建JobManager及对应的三大组件Resource Manager、Dispatcher、JobMaster》中提到了三大组件的创建和启动，今天来细细讲讲RM。 回到源码中，细看创建的过程： 创建过程 //TODO 创建 ResourceManager resourceManager = resourceManagerFactory.createResourceMa
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6198
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink内核源码解析--Flink中重要的工作组件和机制
weixin_42492886的博客
08-16 853
这是因为Flink节点与节点之间，组件与组件之间通信采用的是Akka，但是数据交换，比如算子与算子之间的数据交换采用的是Netty，比如Flink中有JobManager，还有TaskManager从节点，而JobManager主节点里面有一些组件，比如JobMaster，Dispatcher等，组件与组件之间通信采用的是Akka，而Netty是算子与算子之间，比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。
JobManager-开源
05-09
这是任务管理软件，适用于想要记录，提醒和监视任何任务/工作/项目的人员。 它提供了将任务分解为越来越小的任务的功能。 所有版本均附带netbeans项目和图形文件。
Flink源码-6-JobMaster 启动任务
csdn问鼎
05-17 796
JobMaster jobmaster负责执行整个任务 入口类 org.apache.flink.runtime.jobmaster.JobMaster public CompletableFuture<Acknowledge> start(final JobMasterId newJobMasterId) throws Exception { // make sure we receive RPC and async calls start(); return callAsync
Flink的核心组件 - JobMaster：作业的控制中心
weixin_59295776的博客
12-07 1125
JobMaster 的主要职责包括作业生命周期的管理、任务的调度、出错恢复、状态查询和分布式状态快照。 分布式状态快照包括 Checkpoint 和 Savepoint，其中 Checkpoint 主要是为出错恢复服务的，而 Savepoint 主要是用于作业的维护，包括升级和迁移等等。 分布式快照是由 CheckpointCoordinator 组件来进行触发和管理的。 JobMaster 中的核心组件是 Scheduler，无论是作业的生命周期管理、作业的状态维护，还是任务的调度以及出错恢复，都是
[flink-013]JobMaster：一个JobGraph执行完整流程
大数据和机器学习研究
08-28 1077
JobMaster负责一个JobGraph的完整执行。 JobMaster只有一个构造函数，入参包括要运行的JobGraph对象。入参包括SchedulerNGFactory，用于创建SchedulerNG调度器，安排Job的执行流程，是Job执行的重要部分。 Job执行的入口函数是startJobExecution。这个函数先调用startJobMasterServices，依次启动心跳服务...
Flink源码系列(JobMaster提交任务给TaskExecutor并执行)-第十二期
Airy的博客
05-26 785
上一期指路： 从第八期讲到的JobMaster的启动，直到后面第九期到第十一期都是基于下图的分支①，那么我们继续分析分支②，也就是说TaskExecutor向SlotManager注册slot后，SlotManager分配slot告诉TaskExecutor去提供slot给JobMaster，JobMaster就可以提交执行任务到TaskExecutor的slot中去执行了。 1.一系列套娃般的跳转 JobMaster#resetAndStartScheduler->JobMaster
Flink源码系列(创建JobMaster并生成ExecutionGraph)-第七期
Airy的博客
05-07 627
上一期指路： 上一期主要讲了flink内部的rm的创建，Dispatcher的创建与启动，之前也说过在Dispatcher的启动过程中会涉及JobMaster的创建与启动，那么这一期的主题是创建JobMaster并生成ExecutionGraph。 承接上一期分析到Dispatcher的onStart函数 1.Dispatcher#startRecoveredJobs->Dispatcher#runRecoveredJob->Dispatcher#runJob private
Flink源码-JobGraph的处理和JobMaster的创建
bigdatakenan的博客
08-27 289
上节我们看到了RestClusterClient上传了jobgraph和作业相关的依赖，jar包等，可是flink集群是如何获取jobgraph如何继续下一步操作的呢，今天我们接着看。
【Flink 核心篇】Flink 内存管理（二）：JobManager 内存分配（含实际计算案例）
最新发布
书山有路，学海无涯。记录成长，追逐梦想
02-24 2432
以上 Total Process Memory 的模型图可以分为以下的 4 个内存组件，如果在分配内存的时候，显示的指定了组件其中的1个或者多个，那么JVM Overhead的值就是在其它组件确定的情况下，用Total Process Size- 其它获取的值，必须在min-max之间，如果没有指定组件的值，那么就按照0.1 的比例进行计算得到，如果计算出的值小于min取min，如果大于max取max，如果min、max指定的相等，那么这个JVM Overhead就
Flink内核源码解析系列（十三）：总结在提交到Resource Manager之前的流程
打工日常
06-11 100
总结下，到提交到Resource Manager之前的流程都做了些什么？如下图：
透过源码解析Flink执行流程：JobManager与任务调度
"这篇文章深入解析了Apache Flink的核心执行流程，从简单的WordCount程序开始，逐步剖析Flink作业在不同模式下的执行、图结构的构建以及任务调度与执行的细节。" 文章首先介绍了Flink的执行环境，包括本地模式和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值