Spark 的Shuffle过程详解(待续...)

1.Shuffle的作用是什么?

Shuffle的中文解释为“洗牌操作”，可以理解成将集群中所有节点上的数据进行重新整合分类的过程。其思想来源于hadoop的mapReduce,Shuffle是连接map阶段和reduce阶段的桥梁。由于分布式计算中，每个阶段的各个计算节点只处理任务的一部分数据，若下一个阶段需要依赖前面阶段的所有计算结果时，则需要对前面阶段的所有计算结果进行重新整合和分类，这就需要经历shuffle过程。
在spark中，RDD之间的关系包含窄依赖和宽依赖，其中宽依赖涉及shuffle操作。因此在spark程序的每个job中，都是根据是否有shuffle操作进行阶段（stage）划分，每个stage都是一系列的RDD map操作。

2. Spark中shuffle的运行时机

shuffle过程只有在stage与stage之间才会运行，前一个stage可以看作是MR的MapTask；后面的stage可以看作是ReduceTask，而且stage的切分规则是根据RDD的宽窄依赖关系切分的，那么下面列出一些能够产生shuffle的算子

• 去重

def distinct()
def distinct(numPartitions: Int)

• 集合

def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]
def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)]
def groupBy[K](f: T => K, p: Partitioner):RDD[(K, Iterable[V])]
def groupByKey(partitioner: Partitioner):RDD[(K, Iterable[V])]
def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)]

• 排序

def sortByKey(ascending: Boolean = true, numPartitions: Int <