Spark Shuffle过程理解

拿reduceByKey举例：

在spark中，数据通常不会为了一个特定的操作而分布在特定的分区partitions。在计算过程中，一个task只会在一个partition分区上执行，因此，为了把所有的数据组织到一个reduce task （例如reduceByKey）中执行，Spark需要执行一个all-to-all操作，该操作需要读取所有partition上key value的值，然后将他们聚合在一起，然后针对每个key进行计算。这个过程就叫做shuffle；

可以引起shuffle操作的算子有 repartition操作：repartition，coalesce；各种'ByKey操作（除过counting）：groupByKey，reduceByKey；及join操作：cogroup，join。




shuffle过程会在磁盘中产生大量的中间文件；自spark1.3起，这些中间文件会一直保存着，直到对应的RDD不再使用，或者被GC处理了。