Yarn之ResourceManager详细分析笔记（一）续

前部分请看：http://zengzhaozheng.blog.51cto.com/8219051/1438204 

2、ApplicationMaster管理模块

    ApplicationMaster的管理主要是用过ResouceManager内部的3个组件来完成：ApplicationMasterLauncher、AMLivelinessMonitor、ApplicationMasterService。

（1）先说说ApplicationMaster和ResourceManager整个的交互流程：

步骤一：

    当ResourceManager接收到客户端提交应用程序请求时就会立马向资源管理器申请一个资源用于启动该应用程序所对应的ApplicationMaster，申请到资源后由ApplicationMasterLaucher与对应的NodeManager进行通信，要求该NodemManager在其所在节点启动该ApplicationMaster。

步骤二：

    ApplicationMaster启动完毕后，ApplicationMasterLuacher通过事件的形式将刚刚启动的ApplicationMaster注册到AMLivelinessMonitor,以启动心跳监控。

步骤三：

    ApplicationMaster启动后主动向ApplicationMasterService注册，并将自己所在host、端口等信息向其汇报。

步骤四：

    ApplicationMaster在运行的过程中不断向ApplicationMasterService发送心跳。

步骤五：

    ApplicationMasterService每次收到ApplicationMaster的心跳信息后，会同时AMLivelinessMonitor更新其最近一次发送心跳的时间。

步骤六：

    当应用程序运行完毕后，ApplicationMaster向ApplicationMasterService请求注销自己。

步骤七：

    ApplicationMasterService收到注销请求后，会将该应用程序的运行状态标注为完成，并且同时AMLivelinessMonitor移除对该ApplicationMaster的心跳监控。

（2）内置管理组件的详细说明

    这里展开说说这3个组件的一些运行机理。

• ApplicationMasterLaucher

    ApplicationMasterLaucher是以线程池方式实现的一个事件处理器，其主要处理AMLaucherEvent类型的事件，包括启动(LAUNCH)和清除（CLEANUP）一个ApplicationMaster的事件。

    当接收到LAUNCH类型的事件，ApplicationMasterLaucher立马会和对应的NodeManager进行通信，并且带上启动该ApplicationMaster所需要的各种信息，包括：启动命令、JAR包、环境变量等信息。NodeManager接收到来自ApplicationMasterLaucher的启动命令就会启动ApplicationMaster。

    当接收到CLEANUP类型事件，ApplicationMasterLaucher立马会和对应的NodeManager进行通信，要求NodeManager杀死该ApplicationMaster，并释放掉资源。

• AMLivelinessMonitor

    AMLivelinessMonitor的功能和NMLivelinessMonitor的功能几乎一样，只不过AMLivelinessMonitor监控的是ApplicationMaster，而NMLivelinessMonitor监控的是NodeManager。

    AMLivelinessMonitor会周期性地遍历集群中的所有ApplicationMaster，如果某个ApplicationMaster在一定时间内（默认10min，可以有参数yarn.am.liveness-monitor.expiry-interval-ms配置）没有进行心跳汇报，那么则认为它已经死掉，同时该ApplicationMaster关联运行的Container也会被置为运行失败释放资源。如果Application运行失败，则有RresourceManager重新为它申请资源，并且在另外的节点上启动它（AM启动尝试次数由参数yarn.resourcemanager.am.max-attempts控制，默认2）。那么这些被置为失败的Container是不会直接被RM分配执行的，RM只是负责将这些被置为失败的Container信息告诉它们所对应的ApplicationMaster，需不需要重新运行它说的算，如果需要从新运行的话，该ApplicationMaster要从新向RM申请资源，然后由ApplicationMaster与对应的NodeManager通信以从新运行之前失败的Container。

• ApplicationMasterService

    ApplicationMasterService的主要职能是处理来自ApplicationMaster的心跳请求，另外也还处理Application的注册和清理请求。注册是Application启动完成后发生的，它向ApplicationMasterService发送注册请求包，包含：ApplicationMaster所在的节点、RPC端口、tracking url等信息。

    处理心跳信息是周期型行为，只要ApplicationMaster还在运行此类请求都会发生。ApplicationMaster向ApplicationMasterService发送的心跳请求包，包含信息：请求资源类型的描述、待释放的container列表等。ApplicationMasterService返回的心跳应答信息包含：ApplicationMasterService为之分配的Container、失败的Container等信息。

    清理请求是在ApplicationMaster运行完毕后，向ApplicationMasterService发送的，主要是叫其回收释放资源。

参考文献：

1. 《hadoop技术内幕：深入解析YARN架构设计与实现原理》机械工业出版社.董西城

2. http://hadoop.apache.org/docs/r2.2.0/