Shuffle 调优之 HashShuffleManager 和 SortShuffleManager

spark.shuffle.manager：hash、sort、tungsten-sort（自己实现内存管理）spark.shuffle.sort.bypassMergeThreshold：200

spark 1.2.x版本以后，默认的shuffle
manager，是什么呢？
SortShuffleManager。

SortShuffleManager与HashShuffleManager两点不同：

1、SortShuffleManager会对每个reduce
task要处理的数据，进行排序（默认的）。
2、SortShuffleManager会避免像HashShuffleManager那样，默认就去创建多份磁盘文件。一个task，只会写入一个磁盘文件，不同reduce
task的数据，用offset来划分界定。之前讲解的一些调优的点，比如consolidateFiles机制、map端缓冲、reduce端内存占比。
这些对任何shuffle
manager都是有用的。

总结：

如何来选择？

1、需不需要数据默认就让spark给你进行排序？就好像mapreduce，默认就是有按照key的排序。

如果不需要（不需要排序）的话，其实还是建议搭建就使用最基本的HashShuffleManager，因为最开始就是考虑的是不排序，换取高性能；

2、什么时候需要用sort

shuffle manager？
如果你需要你的那些数据按key排序了，那么就选择这种吧，
而且要注意，reduce
task的数量应该是超过200的，这样sort、merge（多个文件合并成一个）的机制，才能生效把。
但是这里要注意，你一定要自己考量一下，有没有必要在shuffle的过程中，就做这个事情，毕竟对性能是有影响的。

3、如果你不需要排序，而且你希望你的每个task输出的文件最终是会合并成一份的，你自己认为可以减少性能开销；

可以去调节bypassMergeThreshold这个阈值，比如你的reduce
task数量是500，默认阈值是200，
所以默认还是会进行sort和直接merge的；可以将阈值调节成550，不会进行sort，按照hash的做法，每个reduce
task创建一份输出文件，最后合并成一份文件。
（一定要提醒大家，这个参数，其实我们通常不会在生产环境里去使用，也没有经过验证说，这样的方式，到底有多少性能的提升）

4、如果你想选用sort

based shuffle manager，而且你们公司的spark版本比较高，是1.5.x版本的，那么可以考虑去尝试使用tungsten-sort
shuffle manager。看看性能的提升与稳定性怎么样。

总结：

1、在生产环境中，不建议大家贸然使用第三点和第四点：2、如果你不想要你的数据在shuffle时排序，那么就自己设置一下，用hash
shuffle manager。3、如果你的确是需要你的数据在shuffle时进行排序的，那么就默认不用动，默认就是sort
shuffle manager；
或者是什么？如果你压根儿不care是否排序这个事儿，那么就默认让他就是sort的。调节一些其他的参数（consolidation机制）。（80%，都是用这种）
spark.shuffle.manager：hash、sort、tungsten-sortnew


SparkConf().set("spark.shuffle.manager",
"hash")
new SparkConf().set("spark.shuffle.manager",
"tungsten-sort")// 默认就是，new
SparkConf().set("spark.shuffle.manager",
"sort")new SparkConf().set("spark.shuffle.sort.bypassMergeThreshold",
"550")
【兼顾合一，又不排序，性能较高】

大数据项目跟传统的项目区别

50%代码coding + 50%性能调优、troubleshooting、数据倾斜的解决。

关注以下三点：

1.什么时候去调优？

2.怎么调优？ （看UI，调参数）

3.调优以后大致的效果如何？