- Spark Shuffle解析
- ShuffleMapStage与ResultStage
如图 3‑1 stage划分,
finalStage··············· 是最后一个stage,本质上是一个ResultStage对象
ShuffleMapStage······ shuffle前面所有stage
ResultStage············ 对应action算子,意味着一个job的运行结束
图 3‑1 stage划分
-
- HashShuffle
如图 3‑1 hashShuffle,
缓冲····················· task结果hash确定要去的reducetask,放在内存缓冲中
溢写····················· 达到阈值后溢写到临时磁盘文件
合并····················· 所有临时文件读取出来写入到最终文件,reducetask会去对应文件中拿数据,输出4个 Tasks * 3个分类文件 = 12个本地小文件。
图 3‑2 hashShuffle
-
-
- 启用合并机制的hashshuffle
-
如图 3‑2 启动合并机制的hashShuffle,一个executor中多个tashk线程只有一个共用的内存缓冲,输出是2个Cores * 3个分类文件 = 6个本地小文件。
图 3‑3 启动合并机制的hashShuffle
-
- SortShuffle
如图 3‑3 sortShuffle,
缓冲····················· 数据会先写入一个数据结构,如:reduceByKey写入Map,一边通过Map局部聚合,一遍写入内存,Join算子写入ArrayList直接写入内存中。
溢写····················· 达到阈值,先根据key进行排序,排序过后的数据,会分批(默认批次为10000条)写入到磁盘文件中。每次溢写都会产生一个磁盘临时文件。
合并····················· 所有临时文件读取出来写入到最终文件。生成索引文件,标识下游各个Task的数据在文件中的索引,start offset和end offset。
图 3‑4 sortShuffle
-
-
- bypass SortShuffle
-
如图 3‑4 启动bypass机制的SortShuffle,
缓冲····················· task结果hash确定要去的reducetask,放在内存缓冲中
溢写····················· 达到阈值后溢写到临时磁盘文件
合并····················· 所有临时文件读取出来写入到最终文件,生成索引文件,标识下游各个Task的数据在文件中的索引,start offset和end offset。
不会进行排序,节省掉了这部分的性能开销。
bypass运行机制的触发条件如下:
- shuffle reduce task数量小于spark.shuffle.sort.bypassMergeThreshold参数的值,默认为200。
- 不是聚合类的shuffle算子(比如reduceByKey)。
图 3‑5 启动bypass机制的SortShuffle