MapReduce执行流程Shuffle

Shuffle:

*洗牌或者弄乱的意思

*Collections.shuffle(List):随机得打乱参数里的元素顺序

*MapReduce里Shuffle:描述着数据从map task输出到reduce task输入的这段过程

下面就详细介绍Shuffle这段过程:

*map task输出的<key,value>对，首先先放在内存(memory)中，然后会spill,溢写到磁盘中，即在内存中溢出就会自动写到磁      盘中，并且会这些文件进行分区(parttition)和排序(sort)，分区是因为reduce有多个，这时候可能会有多个小文件，然后会将      这些小文件再进行合并(merge)和排序成大文件，而这些大文件在Map Task运行的机器的本地磁盘上，至此map任务才算彻底    结束

*这时Reduce Task任务就会启动

          *copy:      Reduce Task会回到Map Task运行的机器上，拷贝要处理的数据

          *合并，排序·

          *分组:       将相同key的value放在一起

以上就是Shuffle的过程，Map输入的数据类型与Reduce输出的数据类型一致

总的来说:

               *分区

               *排序

               *拷贝

               *分组

以上四部只有拷贝是用户无法干预的，其他的都可以进行设置，例如设置分区的大小，排序的算法等操作，但是还有可以优化的地方，例如在将小文件合并成大文件的时候，可以进行压缩，这样即占用磁盘空间少，在拷贝的时候也够快速，还有就是在进行分区后可以将相同的进行combiner合并操作，这两个优化都是视具体情况而定的

最后附上Shuffle流程图: