Hadoop之Yarn（二）

ResourceManager

1. RM是一个全局的资源管理器，负责整个系统的资源管理和分配.它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（ApplicationsManager, ASM).
2. 调度器：根据容量,队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给给个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存，CPU资源封装在一起，从而限定在每个任务使用的资源量。
3. 应用程序管理器（Applications Manager）负责管理整个系统中所有应用程序，包括应用程序提交，与调度器协商资源以启动ApplicationMaster，监控ApplicationMaster运行状态并在失败时重新启动它等。

ApplicationMaster

用户提交的每个应用程序均包含一个AM

1. 与RM调度器协商以获取资源
2. 将得到的任务进一步分配给内部的任务（资源二次分配）
3. 与NM通信以启动/停止任务
4. 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务

NodeManager

1. NM是每个节点上的资源和任务管理器
2. 它会定时地向RM汇报本节点上的资源使用情况和给个Container的运行状态
3. 它接收并处理来自AM的Container启动/停止等各种请求

Container

1. Container是Yarn中的资源抽象，它封装了某个节点上的内存，CPU资源
2. 当AM向RM申请资源时，RM为AM返回的资源便是用Container表示
3. Yarn会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源