Spark中几种ShuffleWriter的区别你都知道吗？

最新推荐文章于 2024-11-18 22:33:47 发布

叫我不矜持

最新推荐文章于 2024-11-18 22:33:47 发布

阅读量771

点赞数

本文链接：https://blog.csdn.net/SmallCatBaby/article/details/101475600

版权

本文详细介绍了Spark中三种ShuffleWriter：BypassMergeSortShuffleWriter、UnsafeShuffleWriter和SortShuffleWriter的实现细节与使用场景。BypassMergeSort适用于无聚合操作且分区数较少的情况，UnsafeShuffleWriter利用序列化进行排序，而SortShuffleWriter支持内存排序和溢写文件的全局排序。各具特色的ShuffleWriter满足了Spark在不同性能需求下的shuffle操作。

摘要由CSDN通过智能技术生成

一.前言

在Spark中有三种shuffle写，分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。

这三者和ShuffleHandle的对应关系如下：

UnsafeShuffleWriter:SerializedShuffleHandle
BypassMergeSortShuffleWriter:BypassMergeSortShuffleHandle，
SortShuffleWriter:BaseShuffleHandle

那么这些shuffle写内部的实现细节有何不同，在什么场景下使用什么样的shuffleWriter呢，接下来我们对着三种ShuffleWriter的实现细节做一个比较。

二.不同shuffleHandle的使用时机

不同shuffleWrite的使用其实是根据shuffleHandle来决定的，在构建shuffleDependence时都会构建shuffleHandle，在registerShuffle方法中，有着对shuffleHandle使用的一个条件约束，因此使用条件也有所不同。

1.对于BypassMergeSortShuffleHandle，

map端没有聚合操作，且分区必须小于200。

在许多使用场景下，有些算子会在map端先进行一次combine，减少数据传输，而BypassMergeSortShuffleHandle不支持这种操作，因为该handle对应的BypassMergeSortShuffleWriter是开辟和后续RDD分区数量一样数量的小文件，读取每条记录算出它的分区号，然后根据分区号判断应该追加到该文件中，此外这个过程也有缓冲区的概念，但一般这个缓冲区都不会特别大，默认为32k。这也是这种shuffle写不支持map端聚合的一个原因，因为聚合必然要在内存中储存一批数据，将相同key的数据做聚合，而这里是直接开辟多个I/O流，根据分区号往文件中追加数据。

而正因为要同时打开多个文件，所以后续RDD的分区数也不能太多，否则同时打开多个文件，产生多个IO，消耗的资源成本很高。