阿里美女面试官问我：Flink资源管理有了解吗

最新推荐文章于 2023-02-06 17:47:10 发布

置顶智慧のKID先森

最新推荐文章于 2023-02-06 17:47:10 发布

阅读量611

点赞数 6

分类专栏： flink 大数据 java 文章标签： flink 分布式 hadoop java 大数据

本文链接：https://blog.csdn.net/Mr_kidBK/article/details/105906593

版权

大数据同时被 3 个专栏收录

11 篇文章 0 订阅

订阅专栏

java

2 篇文章 0 订阅

订阅专栏

flink

1 篇文章 0 订阅

订阅专栏

三连后观看，养成好习惯！
点个关注吧，球球啦！
Flink Runtime运行时架构：https://blog.csdn.net/Mr_kidBK/article/details/105709629

前言

Apache Flink 一个高性能的分布式数据处理引擎，它用于对无界和有界数据流进行有状态计算，它被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
相信过多的我不需要做什么介绍，本系列将以flink整体架构，资源管理与作业调度，错误恢复三个层面详细的讲述Flink Runtime运行时架构核心机制。

正文

书接上回。。。
好了我们继续吧

稍作歇息之后，美女面试官又回到了座位上，期间似乎补了个妆，还换了身衣服？！

这。这谁顶得住。。。
在这里插入图片描述

Flink资源管理有了解吗，流程简单描述下

可以，不愧是选中我的面试官。
在这里插入图片描述
之前我们说过，Flink中也有他自己的资源资源管理器RM，具体说的话资源管理就是RM中一个叫SlotManager的一个组件，他负责维护管理Slot状态和分配空闲的Slot资源。

JobManager需要对整个作业负责，因此首先是由它发起向RM索要slot资源的请求，而在TM启动的时候，他会主动的向RM报告自己的Slot信息，包括有多少个slot，每个slot的资源大小（社区版无）。当RM收到JM的申请时，会计算集群空闲资源是否满足需求，如果达到需求，RM会向被分配的TM发送通知“你的xxSlot被征用了，请去xxx地和JM接头！”

然后，TM收到通知后，会找到JM，告诉他“你的申请成功了，这些Slot现在暂时归你了！”；JM收到Slot后，会把Slot信息缓存在一个SlotPool中，在收到足够的Slot后，JM会把task提交到对应的Slot上，也就是提交任务执行。

当作业结束，无论是异常结束还是正常结束，TM都会向RM发送释放对应Slot的请求。
（结合上图更容易理解哦！）