一.前言
在Spark中有三种shuffle写,分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。
这三者和ShuffleHandle的对应关系如下:
- UnsafeShuffleWriter:SerializedShuffleHandle
- BypassMergeSortShuffleWriter:BypassMergeSortShuffleHandle,
- SortShuffleWriter:BaseShuffleHandle
那么这些shuffle写内部的实现细节有何不同,在什么场景下使用什么样的shuffleWriter呢,接下来我们对着三种ShuffleWriter的实现细节做一个比较。
二.不同shuffleHandle的使用时机
不同shuffleWrite的使用其实是根据shuffleHandle来决定的,在构建shuffleDependence时都会构建shuffleHandle,在registerShuffle方法中,有着对shuffleHandle使用的一个条件约束,因此使用条件也有所不同。
1.对于BypassMergeSortShuffleHandle,
map端没有聚合操作,且分区必须小于200。
在许多使用场景下,有些算子会在map端先进行一次combine,减少数据传输,而BypassMergeSortShuffleHandle不支持这种操作,因为该handle对应的BypassMergeSortShuffleWriter是开辟和后续RDD分区数量一样数量的小文件,读取每条记录算出它的分区号,然后根据分区号判断应该追加到该文件中,此外这个过程也有缓冲区的概念,但一般这个缓冲区都不会特别大,默认为32k。这也是这种shuffle写不支持map端聚合的一个原因,因为聚合必然要在内存中储存一批数据,将相同key的数据做聚合,而这里是直接开辟多个I/O流,根据分区号往文件中追加数据。
而正因为要同时打开多个文件,所以后续RDD的分区数也不能太多,否则同时打开多个文件,产生多个IO,消耗的资源成本很高。
2.对于SerializedShuffleHandle
map端没有聚合操作,需要Se