Flink内核源码解析系列（十六）：Dispatcher、JobMaster的启动

最新推荐文章于 2024-10-04 03:40:27 发布
最新推荐文章于 2024-10-04 03:40:27 发布
阅读量499 收藏
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117901495
版权
本文深入解析Flink内核，详细阐述Dispatcher和JobMaster的启动过程，从DefaultDispatcherGatewayServiceFactory的创建，到Dispatcher的onStart方法，再到JobManagerRunnerImpl的启动，包括verifyJobSchedulingStatusAndStartJobManager、startJobMaster等关键步骤。文章最后总结了启动流程的关键点，如心跳服务、slotPool的资源请求和调度器的重置启动。
摘要由CSDN通过智能技术生成

在上一篇文章《Flink内核源码解析系列（十四）：创建JobManager及对应的三大组件Resource Manager、Dispatcher、JobMaster》中提到了三大组件的创建和启动，今天来细细讲讲Dispatcher、JobMaster。

回到源码中，细看创建的过程：

//TODO 创建和启动 Dispatcher ： dispatcher会创建和启动JobMaster
            dispatcherRunner =
                    dispatcherRunnerFactory.createDispatcherRunner(
                            highAvailabilityServices.getDispatcherLeaderElectionService(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
专栏目录
订阅专栏
Flink内核源码解析系列（十四）：创建JobManager及对应的三大组件Resource Manager、Dispatcher、JobMaster
打工日常
06-14 424
在《Flink内核源码解析系列（十二）：向Yarn Resource Manager提交任务信息》文章中，讲到了yarn客户端向Resource Manager提交任务，因此下一步就是要创建JobManager进程。 那么怎么启动JobManager进程呢？还记得之前说的YarnJobClusterEntrypoint类就是启动JobManager的入口吗？ 翻看这个类的源码，找到main方法，main方法的启动，就是启动JobManager进程。那么在启动的过程中，都做了些什么呢？ 接下来有请源码出场：
flink源码分析
09-18
flink源码分析
Flink源码分析-JobDispatcher
边逛边看边学习
03-30 396
（本文作者 擎创科技研发总监 a coder） 背景介绍 最近一直在阅读Flink基于Yarn的资源管理相关的代码，牵扯的流程比较长，主要包含以下几个环节: 客户端环节：命令参数解析，定位到作业入口，生成JobGraph，翻译成启动对应的Yarn集群描述符，开始提交到Yarn。 AppMaster环节：根据不同的作业模式(Session/Job)，选择不同的启动入口，开始启动集群，这个阶段需要构造的重要组件包含：Dispatcher，Resource Manager，Job Master。具体每个组
Flink技术源码解析（一）：Flink概述与源码研读准备
weixin_33828101的博客
06-06 1823
一、前言 Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎，是当前实时处理领域的一颗炙手可热的新星。关于Flink与其它主流实时大数据处理引擎Storm、Spark Streaming的不同与优势，可参考https://blog.csdn.net/cm_chenmin/article/details/5307249...
Flink 源码解析
http://www.54tianzhisheng.cn/
06-08 1305
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalone session 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— ...
flink源码解析
yoohhwz的博客
02-08 3594
flink源码解析
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6243
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink内核源码解析--Flink中重要的工作组件和机制
weixin_42492886的博客
08-16 890
这是因为Flink节点与节点之间，组件与组件之间通信采用的是Akka，但是数据交换，比如算子与算子之间的数据交换采用的是Netty，比如Flink中有JobManager，还有TaskManager从节点，而JobManager主节点里面有一些组件，比如JobMaster，Dispatcher等，组件与组件之间通信采用的是Akka，而Netty是算子与算子之间，比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。
Flink内核源码解析
LaZY的博客
05-06 570
参考 提交流程 程序入口 yarn-per-job模式： 运行程序后启动的进程： Clifrontend（相当于client） Yarnjobclusterentrypoint（相当于JM） Taskexecutorrunner（相当于TM） 程序入口：Org. Apache. Flink. Client cli. Clifrontend ...
Flink 1.13 源码解析——JobManager启动流程之Dispatcher启动
EdwardWang_的博客
08-27 1011
Flink 1.13 源码解析 JobManager启动流程 Dispatcher 启动
Flink源码解析.zip
06-04
1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程 8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程 9、Flink 源码解析 —— 如何获取 JobGraph？ 10、Flink 源码解析 —— 如何获取 StreamGraph？ 11、Flink 源码解析 —— Flink JobManager 有什么作用？ 12、Flink 源码解析 —— Flink TaskManager 有什么作用？ 13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程 14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程 15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？
flink源码分析.pdf
09-17
flink源码解析文档分析，一起学习
追源索骥：透过源码看懂Flink核心框架的执行流程.pdf
10-30
大数据实时流计算学习的可以稍微了解一下 追源索骥：透过源码看懂Flink核心框架的执行流程
Flink源码解析-从API到JobGraph
woliuqiangdong的博客
11-01 215
首先，本文假定读者对流计算思想已经有基本的认识、对Flink的API已经熟练使用、对Flink的设计思想已经有初步了解，本文着重介绍从api到flinkjob的详细过程。 Streaming API 通常情况下，如果想要使用flink进行并行计算，开发者会把自己的业务逻辑抽象成流式计算的模型，使用flink提供的api定义Job来实现该模型，因此一个flinkjob的生命是从api开始的。我们从一个官网的word count的例子开始，稍做一些修改，代码如下： 如上便是一个flinkJob编写
源码 解析_Flink 源码解析
weixin_36473855的博客
01-12 159
1、Flink 源码解析 —— 源码编译运行2、Flink 源码解析 —— 项目结构一览3、Flink 源码解析—— local 模式启动流程4、Flink 源码解析 —— standalone session 模式启动流程5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动6、Flink 源码解析 —— Stand...
Flink源码解读
yangwenxiaohaha的博客
01-01 411
Flink源码解读 org.apache.flink.client; LocalExecutor模式解读 A class for executing a {@link Plan} on a local embedded Flink runtime instance. 用于在本地嵌入的Flink运行时实例上执行{计划}的类 public class LocalExecutor extends P...
Flink源码解析(从CliFrontend提交开始)-第一期
Airy的博客
04-27 3219
序言 经过一段时间对于flink学习且画了一些源码流程相关的图，决定开一个flink源码分析的专栏，该专栏以flink on yarn的 Per-job模式为基础，基于flink1.12.0，以官方SocketWindowWordCount例子来分析一个任务从提交到运行的流程源码分析。那么话不多，直接开始吧。 首先我们正常情况下，在该模式下的提交flink任务的脚本入下： flink run -t yarn-per-job -c org.apache.flink.streaming.example.
Flink源码剖析
最新发布
weixin_37172178的博客
10-04 1430
执行环境 ExecutionEnvironment数据抽象 DataSet DataStream逻辑操作 Source Transformation Sink1. 获取执行环境2. 通过执行环境对象，注册数据源Source，得到数据抽象3. 调用数据抽象的各种Transformation执行逻辑计算4. 将各自Transformation执行完毕之后得到的计算结果数据抽象注册Sink5. 提交Job执行。
Flink源码-5-dispatcher,jobmanager,jobmaster关系
csdn问鼎
05-17 1174
模式 在yarn-session模式下，共享一个dispatcher org.apache.flink.runtime.dispatcher.Dispatcher 这个类，这里接收到客户端传上来的作业图 代码分析 //这里就是分发器接收到作业图 @Override public CompletableFuture<Acknowledge> submitJob(JobGraph jobGraph, Time timeout) { log.info("Received JobGraph s
深入解析Flink源码：构建数据流处理流程
本文将深入探讨Flink的源码，解析其架构和核心组件，以及项目实施的流程。 在Flink的架构中，主要由以下几个关键部分组成： 1. **Source**：数据的源头，可以是各种类型的数据流，如Socket Stream、Kafka、文件等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值