YARN采用主从结构，Resourcemanager作为全局资源管理器，负责集群资源分配与调度。ApplicationMaster向ResourceManager申请资源并启动任务，NodeManager管理节点资源。YARN的完整执行流程包括作业提交、初始化、任务分配、任务运行、进度和状态更新及作业完成。MapReduce作业在YARN上运行，经历作业提交、初始化、MapTask和ReduceTask的执行等步骤。
1. Yarn
YARN总体上仍然是主从master/slave结构，在整个资源管理框架中，resourcemanager为master， nodemanager是slave。nodemanager 和DataNode是1:1的关系 Resourcemanager负责对各个nodemanger上资源进行统一管理和调度。
当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManger启动可以占用一定资源的任务。由于不同的 ApplicationMaster被分布到不同的节点上，因此它们之间不会相互影响。
YARN的基本组成结构，YARN主要由ResourceManager、NodeManager、ApplicationMaster和 Container等几个组件构成。
1、Resourcemanager
RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理和分配，包括处理客户端请 求、启动/监控APP master、监控nodemanager、资源的分配与调度。它主要由两个组件构成：调度 器（Scheduler）和应用程序管理器（Applications Manager，ASM）。
（1） 调度器
调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系 统中的资源分配给各个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事 任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应 用执行失败或者硬件故障而产生的失败任务，这些均交由应用程
最低0.47元/天 解锁文章
扫一扫
2461
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
