spark shuffle

1. Spark Shuffle解析
   1. ShuffleMapStage与ResultStage

如图 3‑1 stage划分，

finalStage··············· 是最后一个stage，本质上是一个ResultStage对象

ShuffleMapStage······ shuffle前面所有stage

ResultStage············ 对应action算子，意味着一个job的运行结束

图 3‑1 stage划分

1. 1. HashShuffle

如图 3‑1 hashShuffle，

缓冲····················· task结果hash确定要去的reducetask，放在内存缓冲中

溢写····················· 达到阈值后溢写到临时磁盘文件

合并····················· 所有临时文件读取出来写入到最终文件，reducetask会去对应文件中拿数据,输出4个 Tasks * 3个分类文件 = 12个本地小文件。

图 3‑2 hashShuffle

1. 1. 1. 启用合并机制的hashshuffle

如图 3‑2 启动合并机制的hashShuffle，一个executor中多个tashk线程只有一个共用的内存缓冲，输出是2个Cores * 3个分类文件 = 6个本地小文件。

图 3‑3 启动合并机制的hashShuffle

1. 1. SortShuffle

如图 3‑3 sortShuffle,

缓冲····················· 数据会先写入一个数据结构，如：reduceByKey写入Map，一边通过Map局部聚合，一遍写入内存，Join算子写入ArrayList直接写入内存中。

溢写····················· 达到阈值，先根据key进行排序，排序过后的数据，会分批(默认批次为10000条)写入到磁盘文件中。每次溢写都会产生一个磁盘临时文件。

合并····················· 所有临时文件读取出来写入到最终文件。生成索引文件，标识下游各个Task的数据在文件中的索引，start offset和end offset。

图 3‑4 sortShuffle

1. 1. 1. bypass SortShuffle

如图 3‑4 启动bypass机制的SortShuffle，

缓冲····················· task结果hash确定要去的reducetask，放在内存缓冲中

溢写····················· 达到阈值后溢写到临时磁盘文件

合并····················· 所有临时文件读取出来写入到最终文件，生成索引文件，标识下游各个Task的数据在文件中的索引，start offset和end offset。

不会进行排序,节省掉了这部分的性能开销。

bypass运行机制的触发条件如下：

1. shuffle reduce task数量小于spark.shuffle.sort.bypassMergeThreshold参数的值，默认为200。
2. 不是聚合类的shuffle算子（比如reduceByKey）。

图 3‑5 启动bypass机制的SortShuffle