Yarn的任务执行流程

流程

1. client向resource manager提交任务job
2. RM返回任务的提交路径以及job的id
3. client将任务资源提交到公共文件池中，并向RM汇报提交结果。
4. RM将任务放入内部的任务队列中
5. Node Manager通过心跳连接，获取到任务
6. RM为任务创建执行容器
7. RM为容器启动app Master进程
8. app Master决定在哪些数据节点上执行任务。
9. 被分配执行任务的节点去公共文件池中获取资源文件，执行任务。
10. 任务执行完后，app Master向RM注销自己，回收资源。

Yarn中的重要组件与作用

Resource Manager

  负责集群中资源的分配，app master进程的启动创建，监控app master与 node manager的状态。

Application Master

  每一个job有一个app master，负责任务的具体执行，报告任务执行状况

Node Manager

  负责启动和管理节点中的容器。