对Spark中shuffle机制的浅谈

Shuffle，洗牌、搅乱的意思。顾名思义就是把有规则或者有顺序的东西，打乱。打过扑克和麻将的童鞋们会有切身的体验。而在Spark中，Shuffle的过程正好相反，它是将一组无规则的数据，变成一个有规则的数据的一个过程。因为Spark是一个并行分布式的计算框架，数据是按照Key进行分区的，一块块的分区分散在集群中的各个节点上，并不是所有的计算算子都满足于按照一种方式分区进行计算。例如，当需要对数据进行排序存储时，就有了重新按照一定规则对数据进行重新分区的必要，Shuffle就是隐藏在那些需要重新分区的计算算子里的一个对数据进行重新组合的过程。

逻辑上

由于重新分区需要知道分区规则，而分区规则按照数据的Key通过映射函数（Hash或者Range等）进行划分，由数据确定出Key的过程就是Map过程，同时Map过程也可以做数据处理。Shuffle将数据进行收集分配到指定Reduce分区，Reduce阶段根据函数对应的分区做Reduce所需的函数处理。

物理上

Shuffle包含了两个阶段：Shuffle Write和Shuffle Fetch。Shuffle Fetch是一个收集的过程，Shuffle Write写入的过程，算是一个重分区的过程。在Spark中，整个Job转化为一个有向无环图来(DAG)执行，在整个DAG中，每个Stage的承接（stage的衔接处）阶段进行Shuffle。Shuffle Write根据下一个Stage的计算情况进行分区。