MapReduce执行流程详解（Yarn模式）

一.Reduce工作流程图

二.MR整体执行流程（Yarn模式）

1.在MapReduce程序读取文件的输入目录上存放相应的文件。
2.客户端程序在submit（）方法执行前，获取待处理的数据信息，然后根据集群中的参数的配置形成一个任务分配规划。
3.客户端提交切片信息给yarn，yarn中的resourcemanager启动MRappmaster。
4.MRAPPmaster启动后根据本次job的描述信息，计算出需要的maptask对象，然后向集群申请机器启动相应数量的maptask进程。
5.Maptask利用客户端指定的inputformat来读取数据，形成输出的KV键值对。
6.Maptask将输入kv键值对传递给客户的map（）方法，做逻辑运算。
7.Map（）方法运算完毕后将kv收集到maptask缓存。
8.shuffle阶段
（1）maptask收集我们的map（）方法输出的kv对，放到环形缓冲区。
（2）maptask中的kv对按照k分区排序，并不断溢写到本地磁盘文件，可能会溢出多个文件。
（3）多个文件会被合并成答的溢出文件
（4）在溢写过程中，即合并过程中，都会不停的进行分区和针对key的排序操作
&