mapreduce------shuffle过程解析

Mapreduce程序分为五个阶段：
input
map
shuffle
reduce
output
其中shuffle是Mapreduce的核心，它的主要职责是把map的输出结果有效的·传送到reduce端。其过程分为map端和reduce端的操作。对shuffle过程的理解尤为重要，mapreduce的优化通常是对shuffle过程进行优化，shuffle过程在面试中也会经常问到。

对shuffle过程讲解之前，我们先具体说以下，它实现的功能

• 分区
  决定当前的key交给哪个reduce进行处理，其中相同的key必须由同一个reduce进行处理，在reduce中一个默认的分区函数式是使用hash方法。常见的方法使用hash(key)mod R 进行取模运算，以此决定该记录将被分区到哪个reduce节点。hash方法能够产生比较平衡的分区。下面是mapreduce默认的分区方法

    public class HashPartitioner<K, V> extends Partitioner<K, V> {
   
 
  /** Use {@link Object#hashCode()} to partition. */
  public int getPartition(K key, V value,