hadoop笔记3-yarn执行流程

Yarn基本组成结构：

总体仍为Master/Slave结构，ResourceManager为Master，NodeManager为Slave，ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManager启动可以占用一定资源的任务。ApplicationMaster分布在不同的节点上。

1)JobClient与RM之间的协议为ApplicationClientProtocol，JobClient通过该RPC协议提交应用程序、查询应用程序状态等。

2）Admin（管理员）与RM之间的通信协议为ResourceManagerAdministrationProtocol，Admin通过该RPC协议更新系统配置文件，比如黑白名单、用户队列权限等。

3）AM与RM之间协议为ApplicationMasterProtocol，AM向RM注册和撤销自己，并未各个任务申请资源。（谁向AM分配任务？？？）

4）AM与NM之间的协议为ContainerManagementProtocol，AM通过该RPC协议要求NM启动或停止Container，获取各个Container的使用状态等信息。

5）NM与RM之间的协议为ResourceTracker，NM通过RPC协议向RM注册，并定时发送心跳信息汇报当前节点的资源使用情况和Container运行情况。

执行流程：

两个阶段：第一个阶段是启动ApplicationMaster；第二个阶段是由ApplicationMaster创建应用程序，为它申请资源，并监控它的整个运行过程，知道运行完成。包括以下几个步骤：

1）、用户向YARN中提交应用程序，包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。

2）、ResourceManager为该应用程序分配第一个Container，并与对应的NodeManager通信（应用程序与NodeManager的对应关系怎么确定的？？？），要求它在这个Container中启动应用程序的ApplicationMaster。

3、ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查看应用程序的运行状态，然后AppMater将为各个任务申请资源，并监控它的运行状态，知道运行结束，即重复4~7。

4、AppMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。

5、一旦AppMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。

6、NodeManager为任务设置好运行环境（包括环境变量、jar包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行脚本启动任务。

7、各个任务通过RPC协议向AppMaster汇报自己的状态和进度，以让AppMaster随时掌握各个任务的运行状态，从而可以再任务失败时重新启动任务。

8、应用程序完成后，AppMaster向ResouceManager注销并关闭自己。

参考：《Hadoop技术内幕：深入解析Yarn架构设计与实现原理》