Spark的shuffle

 

1. Spark的shuffle阶段发生在阶段划分时，也就是宽依赖算子时。
    宽依赖算子不一定发生shuffle。
2. Spark的shuffle分两个阶段，一个使Shuffle Write阶段，一个使Shuffle read阶段。
3. Shuffle Write阶段会选择分区器，比如HashPartitioner，RangePartitioner，或者使自定义分区器
  也会根据一些条件，来选择到底使用哪一个Writer对象
              unsafeshuffleWriter
              sortShuffleWriter： 预排序，默认的
              bypassMergeShuffleWriter：不排序，<=200,不预聚合
4. 将RDD的一个分区的数据先按照分区器来划分不同的分区(分区数量由分区器来决定)
5. 如果是默认的sortShuffle，则会预排序，然后写入buffer中
6. 当buffer达到阈值时，或者是最后一次时，会溢写成临时文件
7. 如果产生多个临时文件，则会merge成一个临时文件，一个分区对应一个临时文件
8. 多个分区的临时文件最终会合并成一个临时文件，同时会保存这个文件的索引信息到索引文件里，比如一个分区的偏移量，数据的长度等，到此位置，Shuffle Write阶段结束
9. 下游的RDD的每一个分区对应一个Task，并提供了读buffer,然后开始从各个executor处读取属于自己分区的数据到buffer中，因为可能来自多个executor处，所以会涉及到合并

注意：排序时，使用的是归并算法，字典升序排序规则