MapReduce过程(包括Shuffle)详解

　　首先，map的输入数据默认一个一个的键值对，键就是每一行首字母的偏移量，值就是每一行的值了。

　　然后每一个输入的键值对都会用我们定义的map函数去处理，这里用wordcount来举例的话就是，每一个键值对的值都按对应的分隔符分隔成每一个单词作为输出的键，值都为1。

　　接着，进入mapshuffle阶段，map函数处理后的数据会被放到一个环形缓冲区中，当放置的环形缓冲区的容量(默认100MB,可自定义)达到阈值(默认80%,可自定义)时就会进入溢写，

在真正溢写到本地磁盘前，会对要溢写的数据进行分区(Partitioner),这里分区的规则就是按数据输出到对应的不同的reduce进行划分的，然后对每个分区内的数据进行排序(Sort),

接下来是可优化的可选项就是分组（combiner），即先对相同的键的值进行合并，从而减少到时reduce来拉去的网络消耗和内存消耗.完成上述溢写的准备阶段后才会真正的写到磁盘。

　　而每次的溢写都会生成一个小文件，当溢写的小文件个数达到一定阈值时会再进行排序后合并成大文件。直到将所有的map输出数据处理完成，map端的shuffle过程结束。

　　接下来进入reduce端的shuffle过程，当map处理完成后，会通知ApplicationMaster（后文简称AM），AM就会启动reduce Task，reduce就会到对应的map中拉取对应的map输出结果文件，放到内存中，也跟map过程一样，进行溢写，唯一不同的是其会进行分组，也就是对相同的key进行分组，把相同key下的值进行合并后输出(这里，如果map端有进行combiner优化的话，

reduce分组的压力是不是就少很多了）。所有数据处理完后，reduce端的shuffle也就结束了。

　　reduce端的shuffle过程的结果用咱们自定义的reduce函数进行处理，用wordcount程序为例的话，其实就是对key下的list值进行累加。

　　最终作为mapreduce的输出结果。整个MapReduce过程结束。

下图以wordcount为例进行图解说明:

转载于:https://www.cnblogs.com/Niel-3/p/6707757.html