MapReduce执行原理

MapReduce执行任务一般包括输入分片、Map、Shuffle、Reduce等阶段，其执行原理如下图所示：

图片来源于《离线和实时大数据开发实战》

• 输入分片：在进行Map计算之前，MapReduce会根据输入文件计算输入分片，每个输入分片对应一个Map任务。

• Map阶段：在Map阶段，各个Map任务会接收到所分配的分片，并调用Map函数，逐行执行并输出键值对。

• Combiner阶段：Combiner阶段是可选的，其实质也是一种Reduce操作，但它是一个本地化的Reduce操作，主要是在Map计算出的中间文件做一个简单的合并重复键值的操作，可以减少后续的处理和网络传输，但是使用它的原则是Combiner的输出不会影响到Reduce计算的最终输入，例如，如果计算只是求总数、最大值及最小值，可以使用Combiner操作，但是如果做平均值计算使用Combiner，最终的Reduce计算结果就会出错。

• Shuffle阶段：

  • Map Shuffle：对Map的结果进行分区(partition)、排序(sort)、分割(spill)，然后将属于同一分区的输出归并(merge)到一起并写在磁盘上，然后将不同的分区发送给对应的Reduce。
  • Reduce Shuffle：将各个Map输出的同一分区的输出进行归并(merge)，然后对合并的结果进行排序(sort)，最后交给Reduce进行处理。

• Reduce阶段：调用Reduce函数。例如对每个键，调用sum逻辑合并value并输出到HDFS。

合并(Combine)和归并(Merge)的区别：对于两个键值对<‘a’, 1>，<‘a’, 1>，如果合并会得到<‘a’, 2>，如果归并会得到<‘a’, <1, 1>>