MapReduce运行在yarn集群流程分析

yarn重要概念

1. yarn并不清楚用户提交的程序的运行机制
2. yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）
3. yarn中的主管角色叫ResourceManager
4. yarn中具体提供运算资源的角色叫NodeManager
5. 这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序，tez ……
6. 所以，spark、storm等运算框架都可以整合在yarn上运行，只要他们各自的框架中有符合yarn规范的资源请求机制即可
7. Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享

 

Yarn中运行运算程序的示例

 

文字叙述流程

1.将自己的mapReduce程序打成jar,在提交资源时（job.submit）,首先会于YarnRunner建立通信，通过代理方式向ResourceManager申请一个application

2.application返回一个资源提交路径和当前申请的application id拼接成一个唯一的完整资源提交路径

3.提交job运行所需要的资源文件到hdfs上

4.资源提交完毕告知resourceManager提交完毕，并且申请运行MrAppMaster

5.ResourceManager并不会立即执行，有一个默认的机制队列FIFO,把当前提交的资源封装成一个Task放到队列中

6.NodeManager一直在处于在准备领取任务的状态，假设图中的第一个nodeManager领取到任务

7.领取到任务的NodeManager根据任务描述先在当前的空间创建一个容器（container,利用linux的cgroup机制），分配内存和cpu以及传过来MrAppMaster,首先启动MrAppMaster紧接着去hdfs上下载上传的文件到这个NodeManager本地,只有MrAppMaster知道此次任务根据job.xml以及分配的运行规划需要几个MapTask和ReduceTask，但不一定都放在本地，需要申请运行MapTask容器

8.再次申请ResourceManager封装成Task,ResourceManager分配其他机器领取任务，其他机器领取后分别创建对应的container

9.MrAppMaster发送程序启动脚本，生成的文件都存在各自的NodeManager本地，生成的文件都是经过分区且排好序列的文件

10.MapTask运行后，再次向ResourceManager申请运行ReduceTask同理申请MapTask流程，MrAppMaster会分配对应的区号给ReduceTask,MapTask任务执行后会被立即回收，但本地文件不会被回收被NodeManager管理,在搭建集群配置过Mappred_shuffle配合管理这些文件,reduceTask根据自己分配到的区号处理对应区的MapTask生成的本地文件

11.当ReduceTask全部执行完毕后，告诉ResourceManager这个程序已经全部跑完，如果在执行的期间MapTask和ReduceTask发生异常，会立即在分配一模一样的Task去执行，直到程序执行完毕