95-280-037-源码-资源管理-计算资源管理-TaskSlot-ResourceManage 中 Slot 的管理

最新推荐文章于 2022-08-31 22:56:46 发布
最新推荐文章于 2022-08-31 22:56:46 发布
阅读量498 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106073610
版权
本文深入解析Flink中SlotManager如何管理JobManager的Slot，包括Slot注册、请求、取消以及超时机制。同时介绍了ResourceManager的RPC接口和动态资源管理，特别是FLIP-6引入的动态资源管理特性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

5.ResourceManage 中 Slot 的管理

​ 上一节分析 TaskExecutor 中 slot 的管理，仅仅局限于单个 TaskExecutor，而 ResoureManager 则需要对所有 TaskExecutor 的 slot 进行管理。所有的 JobManager 都是通过 ResourceManager 进行资源的申请，ResourceManager 则根据当前的集群的计算资源使用情况将请求“转发”给 TaskExecutor。

5.1 SlotManager

​ ResourceManager 借助 SlotManager 来管理 slot。 SlotManager 维护了所有已经注册的 TaskExecutor 的所有 slot 的状态，它们的分配情况。SlotManager 还维护了所有处于等待状态的 slot 请求。每当有一个新的 slot 注册或者一个已经分配的

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
95-280-036-源码-资源管理-计算资源管理-TaskSlot-TaskExecutor 中 Slot 的管理
九师兄
06-27 542
2.TaskExecutor 中 Slot 的管理 2.1 TaskSlot 首先，我们来看下在 TaskManager，也就是 TaskExecutor 中是如何管理 Slot 的。 ​ SlotID 是一个 slot 的唯一标识，它包含两个属性，其中 ResourceID 表明该 slot 所在的TaskExecutor， slotNumber 是该 slot 在 TaskExecutor 中的索引位置。 ​ TaskSlot 是在 TaskExecutor 中对 slot 的抽象，可能处于 Fre.
leetcode中国-ResourceManage:分享自己收录的一些学习资源，希望可以帮助大家，谢谢！
06-29
ResourceManage 分享自己收录的一些学习资源，希望可以帮助大家，谢谢！ 算法coding平台 比赛平台 高校计算机大赛 数据竞赛平台 程序设计竞赛 有名的计算机视觉团队汇总 学习路线 程序员知识框架 设计模式 面经 这里...
Resource Manager导致的定时JOB无法执行完成的排查
还不算晕的专栏
02-03 551
难得早睡一次，将近23点接到某用户电话，一个每半小时执行一次的定时JOB执行报错无法完成；用户DBA已经通过监控软件找到了JOB中的执行慢的一条DELETE的SQL，电话中告知我执行计划没有变化，系统CPU使用率不太高； 对于这一类SQL执行慢的问题，通常我们的思路是从几个大的方面入手判断一下系统整体资源情况，SQL是突然变慢还是一直比较慢；SQL的执行计划是怎么样的、对应的SQL执行时有哪...
Flink 1.13 源码解析——ResourceManager与TaskManager的心跳交互
EdwardWang_的博客
08-31 1583
Flink 1.13 源码解析 ResourceManager与TaskManager的心跳交互源码分析
Flink TaskExecutor中Slot的计算资源管理
METON的博客
11-01 3360
Task Slot的基本概念 在Flink启动模式中，以集群模式开启而非MiniCluster模式开启的话，每个TaskManager都是独立运行的一个单独的JVM进程，并且在一个TaskManager中可能运行多个子任务，这些子任务都在各自独立的线程中运行。为了描述控制一个TaskManager中可以运行的任务的数量，引入了Task Slot的概念。 每一个Task Slot代表了TaskManager所拥有的计算资源的一个固定的子集。其可以共享对应的TaskManag...
Flink源码系列(TaskExecutor向ResourceManager发起注册[flink内部，非yarn中rm])-第十期
Airy的博客
05-12 1122
上一期指路： 承接上一期讲到YarnTaskExecutorRunner的main方法，我们继续往下分析。 1.YarnTaskExecutorRunner#main->YarnTaskExecutorRunner#runTaskManagerSecurely->TaskManagerRunner#runTaskManagerSecurely public static void runTaskManagerSecurely(Configuration configuration)
resourcemanage.zip
10-21
这个"resourcemanage.zip"文件很可能是这样的一个项目压缩包，包含了所有必要的源代码、配置文件和其他资源，用于搭建和运行一个完整的SSM应用。 Spring是Java领域的一个重量级框架，它提供了依赖注入（DI）和面向...
Java中Semaphore(信号量)的使用方法
08-25
Java中Semaphore（信号量）的使用方法 Semaphore（信号量）是一种非常重要的并发访问控制机制，它可以用来保护一个或者多个共享资源的访问。Semaphore内部维护了一个计数器，其值为可以访问的共享资源的个数。一个...
sip模块功能与使用
10-28
- `ResourceManage.c`：管理电话资源，如摘挂机、免提模式等。 - `ringtone.c`：铃声管理逻辑。 - `ServerInit.c`：程序入口，初始化会话和SIP库。 - `SessionManage.c`：会话管理逻辑。 - `sipfsm.c`：与SIP库...
c#制作可伸缩个性化窗体
05-24
通过实例,读者可以了解怎么使用ResourceManage类创建和使用皮肤,怎么分区域调用等.控件加载到容器中后,运行时可以调整大小,或者调用关闭按钮进行关闭操作,关闭时只做了移除处理,目的是介绍怎么触发事件;引用...
Flink本地部署报错 Could not resolve ResourceManager address ,提交job,显示taskmanagers等均为0
liuhehe123的博客
05-04 5655
报错 ... org.apache.flink.runtime.taskexecutor.exceptions.RegistrationTimeoutException: Could not register at the ResourceManager within the specified maximum registration duration 300000 ms. This indic...
flink环境搭建,无法创建taskManager
qq_31983635的博客
03-03 4518
./start-cluster.sh 启动后,页面上除了jobmanager上面的taskmanager其他三个节点都没有显示 查看日志:
ThreadPoolTaskExecutor报TaskRejectedException异常
ocean_zz的博客
08-08 4300
ThreadPoolTaskExecutor异常 先贴一下异常的源码 public void execute(Runnable task) { ThreadPoolExecutor executor = this.getThreadPoolExecutor(); try { executor.execute(task); } catch (Rejec...
【Flink】Flink 计算资源管理
九师兄
02-03 1314
1.概述 转载：Flink 源码阅读笔记（6）- 计算资源管理 在 Flink 中，计算资源的是以 Slot 作为基本单位进行分配的。本文将对 Flink 中计算资源的管理机制加以分析。 2.Task Slot 的基本概念 我们在前面的文章中了解了 Flink 集群的启动流程。在 Flink 集群中，每个 TaskManager 都是一个单独的 JVM 进程（非 MiniCluster 模式），并且在一个 TaskManager 中可能运行多个子任务，这些子任务都在各自独立的线程中运行。为了控制一个 Ta.
Flink 1.12.2 源码浅析 : TaskSlotTable
张伯毅的专栏
05-04 890
.一 .前言二 .TaskSlotTable 接口三 .TaskSlotTableImpl3.1. 属性相关3.1.1. slot 相关3.1.2. 其他属性3.1.3. 构造方法3.2. 方法相关3.2.1. start3.2.2. closeAsync3.2.3. createSlotReport3.2.4. allocateSlot3.2.5. freeSlot -> freeSlotInternal3.2.6. 任务相关(add/remove/getTask)3.2.7. 获取信息相关3.2.
Flink源码系列(slot在TaskExecutor、SlotManager、SlotPool之间的关系)-第十一期
Airy的博客
05-19 624
上一期指路 上一期讲到taskExecutor向resourceManager发起注册，这次接着上次分析的注册成功后回调TaskExecutor中的onRegistrationSuccess方法。 1.TaskExecutor的内部类ResourceManagerRegistrationListener#onRegistrationSuccess->TaskExecutor#establishResourceManagerConnection private void establish
Flink ResourceManage中Slot的计算资源管理
METON的博客
11-01 971
ResourceManage中Slot的管理 ResourceManager资源管理器其继承了FencedRpcEndpoint实现了RPC服务，其内部组件主要包含 管理所有TaskExecutor上报的slot资源、申请(SlotManager) 为每个job任务选择出对应ha可用的JobMaster，并将该job任务分配该JobMaster服务(JobLeaderIdService)、高可用leader选举服务leaderElectionService等 心跳管理器taskManagerHear
Mnist数据集，用于人工智能相关基础模型的学习及编程练习
09-06
Mnist数据集，用于人工智能相关基础模型的学习及编程练习
水空两用无人机动力系统设计与研究.pdf
最新发布
09-06
水空两用无人机动力系统设计与研究.pdf
"Hadoop集群高可用搭建与配置方法
而ResourceManage则负责管理集群中的资源分配和任务调度。 在搭建HDFS-HA集群时，需要解决一些核心问题。首先是HDFS-HA手动模式的环境准备规划。这包括确定集群的配置和节点的数量。下一步是进行HDFS-HA集群的配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值