YARN工作流程

自己画的 有错误请大家指出

YARN的运行流程(工作机制)

1.clinet提交程序，向RM申请一个唯一的jobid
2.RM返回一个jobid，并且返回程序提交资源的路径发送给客户端
3.Client端将运行作业所需要的资源（如：jar包，配置文件，切片信息等）向指定的hdfs路径上传(注意：这个hdfs的路径是临时目录，程序运行完后，自动销毁)
4.上传成功之后，向RM发送执行作业的请求
5.RM讲请求转发给调度器
6.调度器会检测看哪个NM（Nodemanager）机器有空闲的时间来调度程序，如果有空闲的机器，调度器将任务放置队列中，开始让AM分配容器（container），调用节点资源开启一个资源池，启动AM
7.AM（APPManager）命令NM（Nodemanager）开辟容器启动AM（APPMaster）
8.AM（APPMaster）接收hdfs路径下jar包文件信息，根据切片信息分配几个map ，几个reduce来执行任务
9.AM(APPMaster)此时 没有执行mapreduce任务的资源，去向调度器请求资源来运行map 任务 reduce任务
10.返回执行的信息
11.AM(APPMaster)通知AM(APPMaster) 启动资源池开辟map和reduce
12.NM启动任务
13.Map，reduce接收共享文件，根据jar ，切片信息来执行任务（此时执行任务期间APPMaster实时监控map和reduce任务，发送其一死掉，重新又去调度拉取资源。。）
14.程序运行完毕之后，发送请求 释放资源