MapReduce程序运行在yarn集群流程分析(大数据学习15)

文字叙述流程

1.将自己的mapReduce程序打成jar,在提交资源时（job.submit）,首先会与YarnRunner建立通信，通过代理方式向ResourceManager申请提交一个application

2.ResourceManager返回application，id资源提交路径和当前申请application 拼接成一个唯一的完整资源提交路径

3.提交job运行所需要的资源文件到hdfs上

4.资源提交完毕告知resourceManager提交完毕，并且申请运行MrAppMaster

5.ResourceManager并不会立即执行，有一个默认的机制队列FIFO调度策略,把当前提交的资源封装成一个Task放到队列中

6.NodeManager一直在处于在准备领取任务的状态，假设图中的第一个nodeManager领取到任务

7.领取到任务的NodeManager根据任务描述先在当前的空间创建一个容器（container,利用linux的cgroup机制），分配内存和cpu以及传过来MrAppMaster,首先启动MrAppMaster紧接着去hdfs上下载上传的文件到这个NodeManager本地,只有MrAppMaster知道此次任务根据job.xml以及分配的运行规划需要几个MapTask和ReduceTask，但不一定都放在本地，需要申请运行MapTask容器

8.再次申请ResourceManager封装成Task,ResourceManager分配其他机器领取任务，其他机器领取后分别创建对应的container

9.MrAppMaster发送程序启动脚本，生成的文件都存在各自的NodeManager本地，生成的文件都是经过分区且排好序列的文件

10.MapTask运行后，再次向ResourceManager申请运行ReduceTask同理申请MapTask流程，MrAppMaster会分配对应的区号给ReduceTask,MapTask任务执行后会被立即回收，但本地文件不会被回收被NodeManager管理,在搭建集群配置过Mappred_shuffle配合管理这些文件,reduceTask根据自己分配到的区号处理对应区的MapTask生成的本地文件

11.当ReduceTask全部执行完毕后，告诉ResourceManager这个程序已经全部跑完，如果在执行的期间MapTask和ReduceTask发生异常，会立即在分配一模一样的Task去执行，直到程序执行完毕