MapReduce工作流程

MapReduce工作流程

Map阶段：

Reduce阶段：

上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下：

（1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中

（2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件

（3）多个溢出文件会被合并成大的溢出文件

（4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行快速排序

（5）ReduceTask根据自己的分区号，去各个MapTask机器上取相应的结果分区数据

（6）ReduceTask会抓取到同一个分区的来自不同MapTask的结果文件，ReduceTask会将这些文件再进行合并（归并排序）

（7）合并成大文件后，Shuffle的过程也就结束了，后面进入ReduceTask的逻辑运算过程（从文件中取出一个一个的键值对Group，调用用户自定义的reduce()方法）

注意：

（1）Shuffle中的缓冲区大小会影响到MapReduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。

（2）缓冲区的大小可以通过参数调整，参数：mapreduce.task.io.sort.mb默认100M。

（3）只要这个比较器比较的两个key相同，他们就属于同一个组，它们的value放在一个value迭代器。

Shuffle流程

Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。

MapReduce溢写

Map端溢写：

每个map task都有一个内存缓冲区，存储着map的输出结果。这个内存缓冲区是有大小限制的，默认是100MB。当map task的输出结果很多时需要在一定条件下将缓冲区中的数据临时写入磁盘，然后重新利用这块缓冲区。在溢写前会根据key进行快速排序。当整个map task结束后再对磁盘中这个map task产生的所有临时文件根据分区做合并。生成最终的正式输出文件，然后等待reduce task来拉数据。
这个溢写是由单独线程来完成，不影响往缓冲区写map结果的线程。溢写线程启动时不应该阻止map的结果输出，所以整个缓冲区有个溢写的比例spill.percent。这个比例默认是0.8，也就是当缓冲区的数据已经达到阈值（buffer size * spill percent = 100MB * 0.8 = 80MB），溢写线程启动，锁定这80MB的内存，执行溢写过程。Map task的输出结果还可以往剩下的20MB内存中写，互不影响。

ps: partition是和sort一起做的，负责Spill的线程在拿到一段内存buf后会调用QuickSort的sort方法进行内存中的快排。mapper输出的keyvalue首先是按partition聚合。而我们如果指定key的compare方法会在这里生效并进行排序。 如果job没有定义combiner则直接写文件，如果有combiner则在这里进行combine。

在生成spill文件后还会将此次spillRecord的记录写在一个index文件中。当所有任务完成，就进入merge阶段。每个spill生成的文件中keyvalue都是有序的，但不同的溢写文件之间却是乱序的，类似多个有序文件的多路归并算法。Merger分别取出需要merge的spillfile的最小的keyvalue，放入一个内存堆中，每次从堆中取出一个最小的值，并把此值保存到merge的输出文件中。这里和hbase中scan的算法非常相似。这里merge时不同的partition的key是不会比较的，只有相同的partition的keyvalue才会进行排序和合并。如果用户定义了combiner，在merge的过程中也会进行combine，因为虽然第四步中combine过但那只是部分输入的combine，在merge时仍然需要combine。这里有人问了，既然这里有combiner，为啥在spill输出时还要combine纳，我认为是因为每次combine都会大大减少输出文件的大小，spill时就combine能减少一定的IO操作。在merge完后会把不同partition的信息保存进一个index文件以便之后reducer来拉自己部分的数据。
作。在merge完后会把不同partition的信息保存进一个index文件以便之后reducer来拉自己部分的数据。
在keyvalue对写入MapOutputBuffer时会调用partitioner.getPartition方法计算partition即应该分配到哪个reducer，这里的partition只是在内存的buf的index区写入一条记录。

参考文献：
Map端溢写：http://blog.itpub.net/29754888/viewspace-1251671/