MapReduce的Shuffle过程详细理解

Map端

Map执行完，开始输出，也就是写入到环形内存缓冲区，输出时按照输出的key进行分区（Partition，分区方式默认按照key的hash值对reducer个数取模）。数据在环形内存缓冲区，超过阈值（默认100MB，可mapreduce.task.io.sort.mb来设定，是指一个task的，整个工作叫job，单独的map和reduce叫task，超过阈值表示超过80%，可mapreduce.map.sort.spill.percent设置）后执行溢出写，写之前会对区内进行排序，如果定义了Combiner（没有定义的应该放入List中）则排序后还要调用Combiner合并（类似reduce）。一个map任务每次溢出写会写入一个单独文件，如果map输出结果很大会产生多个文件，在该map任务结束前（就是计算完了，整个map还没算完），会合并（merge）这些spill文件（可通过mapreduce.task.io.sort.factor设置一次合并的文件个数，默认为10，如果spill过多可调大该值来减少操作磁盘的次数，提高性能），合并时如果定义了Combiner（和上面的Combiner是一个类）会进行Combine。最终一个Map会生成一个文件。输出到磁盘的过程中可设置压缩（mapreduce.map.output.compress为true表示压缩）。

Reduce端

Reduce的Shuffle阶段分为复制（fetch）和排序（sort）过程。Map任务完成会通过心跳通知Application Master，Reduce端会有一个线程查询Application Master，只要有Map完成Reduce就可以开启复制（通过HTTP请求Map所在的TaskTracker获取其输出文件），复制过程是多线程并发（通过mapreduce.reduce.shuffle.parallelcopies设置线程个数，默认5）。Reduce复制的数据先写入到reduce任务的JVM内存，当超过一定阈值（通过mapreduce.reduce.shuffle.input.buffer.percent设置大小，默认0.7，也就是0.7*maxHeap of reduce task，一个reduce任务堆内存的70%，因为Reduce的Shuffle阶段Reduce任务不运行，所以大部分堆内存都给Shuffle使用）会刷写（类似Spill）到磁盘，这里和Map类似不是到最大值才刷写，而是达到一定比例（可通过mapreduce.reduce.shuffle.merge.percent设置比例，默认0.66）开始刷写，也有人说可通过mapreduce.reduce.merge.inmem.threshold设定文件个数（默认1000），超过个数也执行刷写。刷写时也执行类似Map任务的Spill的Sort和Combiner。复制完成后，刷写的文件可能多个（内存中的都要刷写到磁盘中），这时需要合并（merge，mapreduce.task.io.sort.factor参数也会影响这里），如果定义了Combiner函数也会调用进行Combine，最后一次合并（merge）后的数据不再写入文件，直接作为Reduce任务的输入。其实Shuffle过程是从Map和Reduce过程分出来的。