MapReduce中的Shuffle机制

一、概念

        Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（Map方法之后，Reduce方法之前的数据处理过程）称之为Shuffle。

二、Shuffle包括哪些阶段

        Shuffle包括MapTask工作中的Collect收集阶段、Spill阶段、Combine（merge）阶段以及ReduceTask工作中的Copy阶段、Merge阶段、Sort阶段。

         Shuffle是从map()函数执行结束后开始的，首先将map()方法处理的数据写入环形缓冲区，注意这个环形缓冲区是从中间分开的，右半边写数据，左半边写数据的索引，环形缓冲区默认是在内存当中的，默认大小为100M，在超过80%时，把这80%的数据经过分区、排序，再溢写到磁盘；剩下的20%继续接收map输来的数据。在溢写结束后， 我们可以选择Combiner对数据进行一次简单的合并操作，为了减少服务端的压力。由于有多次溢写操作，会生成很多小文件，那么在Shuffle机制中就需要一次归并排序。将溢出的小文件合并成一个个大文件，此时每个分区的数据就合在一起了，再进行排序操作，在排序过程中还可以使用Combiner。接下来可以使用压缩操作将大文件压缩，优化网络中的传输效率。最终将数据写入磁盘中。

        接下来，进行Reduce操作，先将不同map()方法输出的数据中相同分区的数据拷贝到内存缓冲中，内存缓冲不够就溢出到磁盘。接下来对每个map来的数据归并排序，接下来按照相同key分组，最后调用Reduce方法。

                                                                                                                                                宝