SparkShuffle详解

sparkshuffle

1.绪论

0.8版本之前是 hashbasedshufflewrite

0.8到1.2是 优化的hashbasedshuffle

1.3开始时sortbasedshuffle

1.1 基础

shuffle载入

shuffle时其实数据会自动调用 persist方法落盘，有两方面原因。

• 数据中途丢失的话，因为rdd机制。所有数据需要从第一个依赖开始计算
• 如果数据链过长，一直占用内存可能会oom，所以适当释放内存

shuffle write

0.8之前，shuffle持久化是到缓存中，后来发现内存占用过大。容易发生OOM（out of memory）

所以之后改版落盘到磁盘。

2.hashbasedshuffle

首先是executor，每个executor上大概一个cpu core（惯例）。然后跑一到两个tast（cpu的1.5-2倍）

该版本map task会计算key的hash值然后分配到对应的分区，并单独生成一个文件，然后reduce算子会遍历每一个对应的产出文件。

每一个map task都要给后面所有的result task创造一个文件。

• 因为目标rdd的一个partition对应一个result task。

可以理解为每一个map task要把自己所有key生成一个文件，然后里面放好这个数据。又因为result task对应的是目标rdd上的每一个partition。所以每一个result task去取自己对应的数据

可以算得中间数据的数量，是map task数 X reduce task数。可以看出数据量太大了。

单纯的用linux打开这些文件都非常耗费资源。

同时如果文件系统时随机读写，数量庞大的文件会非常耗时。

3.优化的hashbaseshuffle

优化后不再是以task为单位生成文件，而是executor为单位。在executor内部提前聚合。

4.sortbaseshuffle

相比于第二种，继续封装一层。每个executor只有一个文件。这样只有core （executor数决定生成文件数），task只会决定一个文件有多长。因为core肯定是小于task的，通常task为core的1.5-3倍。

索引文件非常重要索引文件是因为该文件为顺序读写。能极大提升IO速率。

5.细节

1. Spark的shuffle阶段发生在阶段划分时，也就是宽依赖算子时。
   宽依赖算子不一定发生shuffle。
2. Spark的shuffle分两个阶段，一个使Shuffle Write阶段，一个使Shuffle read阶段。
3. Shuffle Write阶段会选择分区器，比如HashPartitioner，RangePartitioner，或者使自定义分区器
   也会根据一些条件，来选择到底使用哪一个Writer对象
   unsafeshuffleWriter
   sortShuffleWriter： 预排序，默认的
   bypassMergeShuffleWriter：不排序，<=200,不预聚合
4. 将RDD的一个分区的数据先按照分区器来划分不同的分区(分区数量由分区器来决定)
5. 如果是默认的sortShuffle，则会预排序，然后写入buffer中
6. 当buffer达到阈值时，或者是最后一次时，会溢写成临时文件
7. 如果产生多个临时文件，则会merge成一个临时文件，一个分区对应一个临时文件
8. 多个分区的临时文件最终会合并成一个临时文件，同时会保存这个文件的索引信息到索引文件里，比如一个分区的偏移量，数据的长度等，到此位置，Shuffle Write阶段结束
9. 下游的RDD的每一个分区对应一个Task，并提供了读buffer,然后开始从各个executor处读取属于自己分区的数据到buffer中，因为可能来自多个executor处，所以会涉及到合并

注意：排序时，使用的是归并算法，字典升序排序规则