【spark】关于spark的shuffle模式的一些见解

我不想说太多源码层面的东西，然后把详细方法一个个列出来，其实没有多大意义（因为源码里有，再者比我讲的清晰明白的大有人在，我没有必要再重复相同的东西），但是我真的花了好大的精力才把这部分看完，我得记录下，不然会忘掉

 

一、spark到底有几种shuffleManager（shuffle管理类）可以选择？

首先spark早期的版本（比如1.5.1版本），是有三种shuffle

http://spark.apache.org/docs/1.5.1/configuration.html#shuffle-behavior

但是后来在1.6的版本又把tungsten-sort取消掉了，最后在2的版本又把hash去掉了

 所以现在的版本只有一种了！！！虽然配置里可以写sort或者tungsten-sort，但是指向的是同一个类

sparkEnv类中：

 

二、shuffle模式有几种？

首先是构建shufflehandle（shuffle处理器），获得write写出数据（这当中还有一些排序，spill磁盘，磁盘上多个文件合并等，我就不具体说了，很多文章都有说明）

 

1、构建处理器

SortShuffleManager类中：

有一个注册shuffle的方法，这个方法是在DAG构建的时候会触发的（对，就是那个面试的时候很爱问的宽依赖和窄依赖！）

我们可以看到这个方法里会构建3中ShuffleHandle（handle是处理的意思，所以就是有三种shuffle的处理方式）

 然后我们先来看看各自的条件

（1）、BypassMergeSortShuffleHandle

（这个类的名字就是绕过聚合和排序，取名很有哲学！）的生成条件如下：

1、依赖中是否有map端的聚合？（必须没有）

2、依赖的分区数是否小于spark.shuffle.sort.bypassMergeThreshold这个值（默认是200）

我多说一句，spark.shuffle.sort.bypassMergeThreshold建议不要随便改动，因为没有聚合，spark会直接往磁盘上写数据，200就要开启200个io流，如果你手动设置调大了，就会开启更多的io流，所以值不能太大，会出问题

 

（2）、SerializedShuffleHandle

（看的出来，序列化的shuffle）的生成条件如下：

1、序列化支持relocation（这是什么鬼东西，讲实话我没百度到），但是我可以确定的是默认的java序列化是做不了这个事情的，你需要把spark.serializer设置为org.apache.spark.serializer.KryoSerializer，这样就ok了！

2、依赖中没有聚合

3、分区数小于(1 << 24) - 1，也就是16777215

 

（3）、BaseShuffleHandle

如果上两条都失败，那就构建BaseShuffleHandle

 

2、构建write

根据上面不同的handle创建不同的write（写类）

SortShuffleManager类中：

好，所以对应关系是

BypassMergeSortShuffleHandle 对应 BypassMergeSortShuffleWriter

SerializedShuffleHandle 对应 UnsafeShuffleWriter 使用 ShuffleExternalSorter 做排序

BaseShuffleHandle 对应 SortShuffleWriter 使用 ExternalSorter 做排序

 

spark源码分析之ShuffleExternalSorter（作者：weiqing687 ）：https://blog.csdn.net/qq_26222859/article/details/81502251

 

3、区别和使用场景、可修改的参数

（1）、区别

（1）、其实区别在一开始做handle判断的时候，就可见一斑，bypass适用没有聚合，分区少（数据量少）的情况，因此他是最先判断的

（2）、接着是unsafe，unsafe其实是spark的tungsten计划（可以直接操作服务器的内存，以此来避免GC和JVM里面因为对象构建而多占用的资源），但是有三个前提条件，就是使用kryo和没有聚合操作外加分区数要小于16777215（不过说句实在话，分区数要大于1600W的任务。。。我还真没见过，可能我孤陋寡闻了）

（3）、最后这种应该是最通用的了，在以上两条都不满足的时候，只能触发（没有任何强化特性的）基础shuffle，他就没有什么限制条件了，啥都能做，什么聚合啊排序啊，或者不想聚合啊都ok，原因在于

SortShuffleWrite类中的write方法：

会根据是否有聚合和排序构建ExternalSorter，然后ExternalSorter类的insertAll方法里，又会判断聚合与否，来选择是使用spark自定义的map保存数据还是buffer缓冲数据（map是可用聚合更新数据的，buffer只是缓冲，然后预估这两个对象的大小，来spill磁盘）

 

 

（2）、使用场景

相信我，这篇文章你能读到这里，我已经觉得你很棒了！因为我自己都觉得很枯燥，好像对于那些想做shuffle层面优化的小伙伴来说，啥都没得到，接下来我要说说我自己看了这些知识之后的观点。

1、map端的聚合的疑问？

map端的聚合其实是一个优化，他可以减少数据占用的空间，10条（spark，1）这样的数据，我可以用1条（spark，10）来代替，肯定是方便的，但是可以看到如果想使用unsafe的shuffle，那就不能有map端的聚合，那到底有哪些场景适用呢？

我举几个例子：

RDD：groupbyKey

是不是觉得，太少了，之前我一时之间也想不到其他的，不过后来

repartition，sort排序，还有一个非常常见的场景join

2、unsafe和基础的shuffle性能

在完全相同的数据量和处理下，unsafe的性能肯定会比基础的shuffle性能好，不然spark就不用那么大费周折的添加这个功能，但是不少场景下，我们是可以通过map的先行聚合来减少数据量，既然减少了数据量，那么相应内存消耗，io消耗就会减少，因此不能说所有场景下unsafe的性能都比基础的shuffle好

3、bypass基本只使用数据量少的场景

像本地测试，基本上全是走bypass，大家可以自己在注册shuffle的方法打断点跑跑看

4、想使用unsafe优化，是否必须显示设置kryo

我自己试下，rdd编程的话，必须设置，否则就走java的序列化，那就永远都用不到unsafe

但如果你用的是DataSet的DSL编程，我发现不设置kryo，他也会走到unsafe里，不过管他的呢，你直接在配置文件里写死kryo它不香吗？

 

（3）、可修改的参数

1、bypass方式

可以增加buffer，减少磁盘写入次数，但是这样内存压力就会变大

这个参数不止在这里用到，在基础shuffle中也用到了，具体往下看

spark.shuffle.file.buffer

32k

Size of the in-memory buffer for each shuffle file output stream, in KiB unless otherwise specified. These buffers reduce the number of disk seeks and system calls made in creating intermediate shuffle files.

1.4.0

2、unsafe

我们说过unsafe的方式不支持聚合，但是支持排序，所以

spark.shuffle.sort.initialBufferSize可以设置这个值来提高sort的buffer，但是其实官网的configuration页面，并没有把这个参数列出来，估计是不想让大家随便改把！！

3、原始的shuffle：SortShuffleWriter

在这个类中，并没有参数可以设置，但是在write的时候，他使用到了ExternalSorter类，这个类里有2个参数

第一个参数和bypass是一样的，第二个参数官网也没有列出，但是注释里说，不要设置太低，否则会导致“在序列化中过度的复制”（我也不知道什么意思）

4、shuffle的下游read数据

可以看到SortShuffleManager类，中有个getReader的方法，里面构建了BlockStoreShuffleReader类

这个类中有个参数，是每个reduce拉取map的结果数据到buffer中，上限48M，如果你有足够的内存，可以增加这个值，减少io压力

spark.reducer.maxSizeInFlight

48m

Maximum size of map outputs to fetch simultaneously from each reduce task, in MiB unless otherwise specified. Since each output requires us to create a buffer to receive it, this represents a fixed memory overhead per reduce task, so keep it small unless you have a large amount of memory.

1.4.0

 

5、除此之外，建议看看官网

当然除了上述参数之外，没有什么其他太多的参数了

剩下的没讲到的参数，基本就两种，一种是shuffle的io拉取数据的时候的重试（在大作业运行时，可以调大这些重试，增加程序的稳定），另一种就是外部的shuffle机制，这是跟动态资源申请相关的（但是理论上我是不推荐使用动态资源申请的，一直以来这个模式一直都有或多或少的bug，而且毕竟集群不止是spark在用，很有可能有其他的hive等任务，所以。。。这就好像TDD一样，大家都说好，但是用的人很少）

http://spark.apache.org/docs/3.0.0/configuration.html#shuffle-behavior

http://spark.apache.org/docs/3.0.0/job-scheduling.html#dynamic-resource-allocation

 

以上就是我对spark的shuffle模式的总结和见解，欢迎大家留言讨论！！

我也看到一些文章还不错，所以留在下面：

Spark中几种ShuffleWriter的区别你都知道吗？（作者：叫我不矜持）：https://www.jianshu.com/p/cbab289d51c0

Spark SortShuffleWriter（作者：wangdy12）：https://www.jianshu.com/p/541b3648ffd7

spark源码分析系列（作者：JohnnyBai）：https://www.cnblogs.com/johnny666888/p/11259944.html

菜鸡一只，一晃今天是2020年上半年的最后一天了，感觉好快啊~

感谢“甘木”大佬的点拨，我才能写出这篇文章！