YARN resource manager的总体架构

http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-infrastructure/

在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。

1、用户交互

YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRMService、AdminService和WebApp

2、nodemanager管理

主要包括

1. 监控nodemanager存活状态
2. 接受nodemanager请求
3. 维护正常节点列表和异常节点列表

NMLivelinessMonitor

• 监控NM是否活着，如果一个NodeManager在一定时间（默认为10min）内未汇报心跳信息，则认为它死掉了，会将其从集群中移除。

NodesListManager

• 维护正常节点和异常节点列表，管理exlude（类似于黑名单）和inlude（类似于白名单）节点列表，这两个列表均是在配置文件中设置的，可以动态加载。

ResourceTrackerService

• 处理来自NodeManager的请求，主要包括两种请求：注册和心跳，其中，注册是NodeManager启动时发生的行为，请求包中包含节点ID，可用的资源上限等信息，而心跳是周期性行为，包含各个Container运行状态，运行的Application列表、节点健康状况（可通过一个脚本设置），而ResourceTrackerService则为NM返回待释放的Container列表、Application列表等。

3、applicationmaster 管理

主要包括

1. 监控appmaster存活状态
2. 接受appmaster的请求
3. 与nodemanager通信启动appmaster

AMLivelinessMonitor

• 监控AM是否活着，如果一个ApplicationMaster在一定时间（默认为10min）内未汇报心跳信息，则认为它死掉了，它上面所有正在运行的Container将被认为死亡，AM本身会被重新分配到另外一个节点上（用户可指定每个ApplicationMaster的尝试次数，默认是1次）执行。

ApplicationMasterLauncher

• 与NodeManager通信，要求它为某个应用程序启动ApplicationMaster。

ApplicationMasterService

• 处理来自ApplicationMaster的请求，主要包括两种请求：注册和心跳，其中，注册是ApplicationMaster启动时发生的行为，包括请求包中包含所在节点，RPC端口号和tracking URL等信息。而心跳是周期性行为，包含请求资源的类型描述、待释放的Container列表等，而AMS则为之返回新分配的Container、失败的Container等信息。

4、资源分配

ResourceScheduler是资源调度器，它按照一定的约束条件（比如队列容量限制等）将集群中的资源分配给各个应用程序，当前主要考虑内存资源，在3.0版本中将会考虑CPU（https://issues.apache.org/jira/browse/YARN-2）。

ResourceScheduler是一个插拔式模块

FIFO Scheduler、Fair Scheduler、Capacity Scheduler。

5、application管理

ApplicationACLsManager

• 管理应用程序访问权限，包含两部分权限：查看和修改

1. 查看主要指查看应用程序基本信息，
2. 而修改则主要是修改应用程序优先级、杀死应用程序等。

RMAppManager

• 管理应用程序的启动和关闭。

ContainerAllocationExpirer

• YARN不允许AM获得Container后长时间不对其使用，因为这会降低整个集群的利用率。当AM收到RM新分配的一个Container后，必须在一定的时间（默认为10min）内在对应的NM上启动该Container， 否则，RM会回收该Container。

6、安全管理