Yarn资源调度工作原理解析

最新推荐文章于 2024-08-10 02:40:24 发布

o.o沧海一粟

最新推荐文章于 2024-08-10 02:40:24 发布

阅读量481

点赞数

分类专栏：资源管理

本文链接：https://blog.csdn.net/weixin_43892898/article/details/105538132

版权

本文详细解析了Yarn的资源调度工作原理，包括ResourceManager、NodeManager、ApplicationMaster和Container的角色职责。Yarn调度流程涉及8个步骤，其中资源分配采用双层调度模型，确保了调度平台和执行引擎的解耦，支持多种执行引擎并提供灵活的调度策略。

摘要由CSDN通过智能技术生成

Yarn资源调度工作原理解析

由于Yarn良好的兼容性和扩展性，目前可以支持大部分数据引擎，所以了解Yarn的资源调度原理很有必要，Yarn主要由四个重要角色组成：

ResourceManager：顾名思义资源管理器，主要负责资源管理和调度，ResourceManager主要由两个组件构成：ApplicationManager,主要负责两类工作：1.管理监控各个系统的应用，包括启动Applicaiton Master，监控Applicaiton Master运行状态（为了容错）2.跟踪分配给Application Master的进度和状态。Scheduler，主要负责分配Container给Applicaiton Master，分配算法有多种（如公平调度等等）可以根据需求不同选择适合的调度策略。
NodeManager：节点管理器，主要负责维护本节点的资源情况和任务管理。首先NodeManager需要定期向ResourceManager汇报本节点资源使用情况，以便ResourceManager，根据资源使用情况，来分配资源给Application Master，其次，需要管理Applicaiton Master提交来的task，比如接收Applicaiton Master 启动或停止task的请求(启动和停止有NodeManager的组件ContainersLanuncher完成)。
ApplicaitonMaster：用户提交的每个program都会对应一个ApplicationMaster，主要负责监控应用，任务容错（重启失败的task）等。它同时会和ResourceManager和NodeManager有交互，向ResourceMa