二十一、MapReduce工作流程介绍

一、流程示意图

如下图流程mr工作详细运行流程

步骤详细说明
1、获取待处理文件信息，得到文件大小，文件存储位置

2、根据切片参数，准备文件切片信息，如上假设按照默认块大小切片
0-128M
129-200M
两个数据片

3、切片完成有由客户端向yarn提交：job信息、split切片信息、jar包

4、Appmaster根据提交信息计算出开启几个Maptask，其实是由切片个数决定的，它实际决定将开启哪些节点运行任务

5、开启的MapTask按照切片信息加载数据，默认是TextInputFormat所以数据加载规则是一次读取一行，默认key是字节偏移量，value为当前行数据

6、读取数据后，调用jar中编写的mapper运行map函数，调用编写的运算逻辑。

7、将运算后的k，v数据写出到环形缓存区。–shuffle开始位置

8、环形缓存区默认100M，当数据达到80%对数据溢写到本地文件；
缓存区大小可自行设置，如果服务器配置高可提高大小，减少数据溢写过程

9、从环形缓冲区不断溢出本地磁盘文件，可能会溢出多个文件，在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序；

10、当溢写文件达到一定数量后，多个溢出文件会被合并成大的溢出文件并排序，最后在map处理数据完毕后会将磁盘上所有文件进行归并排序合并成一个大文件，(减少reducetask读取时的小文件问题)；

这里使用归并排序，因为数据本身已经有序，所以使用归并效率高。

11、combiner合并：这步是自行设置的默认没有，可以在不影响最终结果的情况下，在map段进行一次数据合并，也就是reduce计算。(切记不能影响最终结算结果的情况下使用)，提前合并计算，会减少数据在网络中传输时间。

------以上时maptask端进行

12、所有maptask任务完成后，启动相应的reducetask个数，非特殊情况下应将reducetask个数设置与分区个数一样。

13、reducetask任务运行，每个ReduceTask根据自己的分区号，去各个MapTask机器上拷贝相应的结果分区数据，如果文件大小超过一定阈值，则溢写到文件上，如果磁盘上文件数目达到一定阈值，则进行一次归并排序、合并生成一个更大的文件，如果内存中的文件大小或者数目超过一定阈值，则进行一次合并后将数据溢写到磁盘上。当所有maptask上所有需要的数据拷贝完后，ReduceTask统一对内存与磁盘上的所有数据进行 一次归并排序，合并成大文件

14-15、对文件内数据按照key分组，并且一次读取一组数据到自己编写的reduce逻辑运算函数中；

运算逻辑开始前数据分组后是：Shuffle的结束过程

16、将reduce运算结果写出到本地文件中，默认是TextOutputFormat，reduce对文件中分组数据运算结束后，整个mr任务工作流程结束。

二、shuffle机制

shuffle机制：位于map向缓存区中写数据，到reduce将所有数据取到排序分组后，执行reduce方法前的一个过程就是shuffle过程