Flink内核源码解析系列（二十）：ResourceManager 分配 Slot

最新推荐文章于 2023-08-16 21:55:55 发布
最新推荐文章于 2023-08-16 21:55:55 发布
阅读量115 收藏
点赞数
分类专栏： Flink内核源码解读 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/117906589
版权
本文主要探讨了Apache Flink的内核源码，聚焦在ResourceManager的Slot分配过程。通过分析SlotManagerImpl.java文件，揭示了Flink如何在任务调度中有效地管理和分配Slots，以确保集群资源的高效利用。
摘要由CSDN通过智能技术生成

SlotManagerImpl.java

private void registerSlot(
		SlotID slotId,
		AllocationID allocationId,
		JobID jobId,
		ResourceProfile resourceProfile,
		TaskExecutorConnection taskManagerConnection)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink源码分析之功能组件(四)-slot管理组件I
leehom的博客
11-29 1239
本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics，future。本文解释slotpool组件，严格来说，slotpool组件不属于功能组件，而是业务组件，资源消费者申请到资源后，在本地管有资源slot，避免资源管理器异常导致作业运行失败，同时资源管理器不可用也不会影响作业的继续执行，只有资源不足时才会导致作业执行失败。
追源索骥：透过源码看懂Flink核心框架的执行流程
11-07
追源索骥：透过源码看懂Flink核心框架的执行流程 不错的源码分析
IDEA中注释的添加和取消的快捷键
weixin_47681855的博客
09-08 1331
1、添加行注释的快捷键 首先选中要注释区域，然后 > ctrl+/ > 这个是多行代码分行注释，每行一个注释符号 ctrl+shift+/ > 这个是多行代码注释在一个块里，只在开头和结尾有注释符号 2、取消行注释快捷键,用相同方法取消 ctrl+/ 添加注释，则ctrl+/取消注释 ctrl+shift+/添加注释，则ctrl+shift+/取消注释 ...
Flink源码学习笔记(5) SlotSharing实现
m0_37053048的博客
04-29 342
这篇文章主要是想介绍在deploy到Taskmanager前，Slotsharing机制是如何将不同Task的Subtask复用同一个Slot，更加充分地利用Flink集群资源。学习的Flink代码版本是1.9.2。 相关概念 SlotSharingGroup: 将不同的的Task放在相同的Slot的分组，默认是default,只有一个分组，也就是Flink会尽量将不同Task的Subtask放在到一个Slot里面。 CoLocationGroup: 不同Task的相同Subtask放在相同Slo.
flink随手笔记之Slot分配与共享
热门推荐
大数据研习社
03-18 1万+
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程： Flink大数据项目实战：http://t.cn/ExrHPl9 共享Slot 默认情况下，Flink 允许subtasks共享slot，条件是它们都来自同一个Job的不同task的subtask。结果可能一个slot持有该job的整个p...
Flink内核源码解析系列（十七）：JobMaster向ResourceManager申请slot
打工日常
06-14 153
到此位置，JobManager三大组件都启动了，启动之后，JobManager就要向ResourceManager申请资源。来看看源码： // TODO 与rm建立连接，slotPool开始向rm请求资源 resourceManagerLeaderRetriever.start(new ResourceManagerLeaderListener()); 向RM注册 经过下面层层调用： resourceManagerLeaderRetriever.start(new ResourceManagerLeade
Flink内核源码解析(出自B站尚硅谷)
qq_24095055的博客
05-06 6168
文章目录任务提交流程 本套教程针对Flink 1.12.0版本的核心模块进行源码级讲解，从任务提交流程、通讯过程、Task调度、内存模型四大方面入手，庖丁解牛逐行分析源码，手术刀级别剖析Flink内核架构！ 任务提交流程 实例以yarn-per-job为例。 flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是： org.apache.flink.client.cli.CliFrontend 查看其中的main方法，执行的逻辑简单总结如下： 获取flink的c
Flink内核源码解析--Flink中重要的工作组件和机制
最新发布
weixin_42492886的博客
08-16 835
这是因为Flink节点与节点之间，组件与组件之间通信采用的是Akka，但是数据交换，比如算子与算子之间的数据交换采用的是Netty，比如Flink中有JobManager，还有TaskManager从节点，而JobManager主节点里面有一些组件，比如JobMaster，Dispatcher等，组件与组件之间通信采用的是Akka，而Netty是算子与算子之间，比如Map算子后面跟着Filter,Filter后面跟着reducekeyby等操作这些算子之间采用的是Netty来通信的。
Flink内核源码解析系列（十八）：TaskManager启动
打工日常
06-14 132
上一篇文章《Flink内核源码解析系列（十七）：JobMaster向ResourceManager申请slot》讲到：JobMaster向Resource Manager申请资源，Yarn Resource Manger会根据申请资源的多少去启动对应的TaskManger。 在讲之前，先说下，在1.12版本前，TaskManger的进程名字叫TaskMangerRunner，1.12后叫TaskExecutorRunner。实际上，TaskExecutorRunner也是调用TaskMangerRunner
[源码解析] Flink的Slot究竟是什么？(1)
罗西的思考
08-24 1447
Flink的Slot概念大家应该都听说过，但是可能很多朋友还不甚了解其中细节，比如具体Slot究竟代表什么？在代码中如何实现？Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用？本文和下文将带领大家一起分析源码，为你揭开Slot背后的机理。
Flink源码系列(slot在TaskExecutor、SlotManager、SlotPool之间的关系)-第十一期
Airy的博客
05-19 621
上一期指路 上一期讲到taskExecutor向resourceManager发起注册，这次接着上次分析的注册成功后回调TaskExecutor中的onRegistrationSuccess方法。 1.TaskExecutor的内部类ResourceManagerRegistrationListener#onRegistrationSuccess->TaskExecutor#establishResourceManagerConnection private void establish
flink实战--资源分配与并行度（runtime）
阿华田的博客
01-17 1万+
简介 Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，flink on yarn都是要启动这两个角色。JobManager主要是负责接受客户端的job，调度job，协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的task数，引入了slot的.........
二十、Flink源码阅读--JobManager对提交过来的JobGraph处理过程
大数据之路
06-05 1256
在client提交任务的源码分析那篇中我们知道了客户端提交给JobManager的是一个JobGraph对象，那么当JobManager的Dispatcher组件接收到JobGraph后做了哪些处理呢，这篇我们从源码分析一些这个处理过程。 源码分析 NettyRPC 接收到请求调用的是channelRead0方法，所以在JM端程序的入口： RedirectHandler.channelRead...
Flink 1.12.2 源码浅析 : SlotPool
张伯毅的专栏
04-28 972
.一 .前言二 .SlotPool2.1. 介绍2.2. 生命周期相关接口2.3. resource manager 连接相关2.4. Slot操作相关三 .SlotPoolImpl 实现类3.1. 前言3.2. 属性3.3. 生命周期相关接口3.3.1. start3.3.2. suspend3.3.3. close3.4. resource manager 连接相关3.4.1. connectToResourceManager3.4.2. disconnectResourceManager3.4.3
Flink架构分析之资源分配
lvlei19911108的博客
05-05 766
Task Slot Flink中每个真正执行任务的TaskManager都是一个JVM进程，其在多线程环境中执行一个或者多个子任务。为了控制一个JVM同时能运行的任务数量，flink引入了task slot的概念。每一个task solt代表了TaskManager资源的一个子集，比如，一个拥有3个solt的TaskManager,每一个solt可以使用1/3TM所管理的内存。进行资源分割意...
灵魂解答Flink错误Could not forward element to next operator
打工日常
08-12 3192
看网上很多同学说，是什么watermark的eventTime为空、数据源段出现脏数据，存在null值导致、要改什么时间格式等等解释，都没有触及这个错误的灵魂。Could not forward element to next operator错误，就应该知道为什么会报？该如何解决这个问题？...
使用Flink时遭遇数据倾斜，怎么办？
打工日常
03-07 2374
无
使用Reactive模式时，JobManager无法打印出日志，报FileNotFoundException: /opt/flink/conf/log4j.properties
打工日常
01-27 1655
无
透过源码解析Flink执行流程：JobManager与任务调度
"这篇文章深入解析了Apache Flink的核心执行流程，从简单的WordCount程序开始，逐步剖析Flink作业在...这篇文档通过源码解析，详细阐述了Flink从用户代码到实际执行的全过程，对于理解Flink的内部工作原理极其有价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值