Spark shuffle 过程详解

Shuffle 过程分为map 端的write 和 reducer 端的read 两阶段

Shuffle write 端发展史从 hashShuffleManager（默认spark1.2之前） 和 到 sortShuffleManger

HashShuffleManager 分为普通shuffle 和 consolidate机制shuffle

1.普通shuffle

普通shuffle  write Map task 会把处理的数据根据key hash 取模，将相同的key写入同一个磁盘文件，每个task 会根据reduce task 的数量输出相同的数量文件，一个文件只属于reduce stage 端的一个task，数据在写磁盘之前会先写入buffer内存，不同的key写入不同的buffer，内存满了才会写磁盘文件。在每个shuffle 过程需产生M*R 个本地文件。

Shuffle Read Reduce task 会把属于自己的上一个stage  task 所生成的文件，通过网络从各个节点拉取数据到自己的节点，每个task 都会有一个缓存，每次只能拉取与缓存大小的数据，数据拉入缓存然后在内存中进行聚合，一边拉一边聚合。

2.consolidate 机制 shuffle（spark.shuffle.consolidateFiles=true，默认为fa