MapReduce解析之Shuffle过程详解

一. Shuffle执行过程

Shuffle是一个网络拷贝的过程，是指通过网络把数据从map端拷贝到reduce端的过程。

整体如图：

在map阶段，最左边是一个inputsplit，一个inputsplit会产生一个map任务,map任务在执行的时候会把k1,v1转化为k2,v2,这些数据会先临时存储到一个内存缓冲区中，这个内存缓冲区的大小默认是100M（io.sort.mb属性），当达到内存缓冲区大小的80%(io.sort.spill.percent)，也就是80MB的时候，会把内存中的数据溢写到本地磁盘中(mapred.local.dir),一直到map把所有的数据都计算完，最后会把内存缓冲区中的数据一次性全部刷新到本地磁盘文件中，在这个图里面表示产生了3个临时文件，每个临时文件中有3个分区，这是由于map阶段中对数据做了分区，所以数据在存储的时候，在每个临时文件中也划分为3块，最后需要对这些临时文件进行合并，合并为一个大文件，因为一个map任务最终只会产生一个文件，合并之后的最终文件也是有3个分区的。

这个3个分区的数据会被shuffle线程分别拷贝到三个不同的reduce节点，图里面只显示了一个reduce节点，下面还有2个没有显示。不同map任务中的相同分区的数据会在同一个reduce节点进行合并，合并之后会执行reduce的功能，最终产生结果数据。

在这里shuffle其实是横跨map端和reduce端的，它主要是负责把map端产生的数据通过网络拷贝到reduce阶段进行统一聚合计算。