Spark调优学习记录（十二）Reduce端优化

并行度设置

并发度的2~3倍

输出产生小文件优化

Join后的结果插入新表

生成文件数 = shuffle并行度

解决方法

        调整并行度

        调用缩小分区算子（coalesce、repartition）

动态分区插入数据

当spark.sql.shuffle.partitions设置过大时，小文件问题；

当spark.sql.shuffle.partitions设置过小时，并行度下降，性能受损。

解决方法

        利用distribute by按照某个字段分区。但会引起数据倾斜，所以抽样出大key，将大key再均分到几个分区。

增大reduce缓冲区，减少拉取次数

spark.reducer.maxSizeInFlight

reduce端数据拉取缓冲区的大小，默认48M，一般够用。

调节reduce端拉取数据重试次数

spark.shuffle.io.maxRetries

默认是为3，不要调太大。

调节reduce端拉取数据等待间隔

spark.shuffle.io.retryWait

reduce端拉取数据等待间隔，默认为5s

合理利用bypass

当shuffle为sortMerge时，如果shuffle read task的数量小于阈值spark.shuffle.sort.bypassMergeThreshold（默认200），并不需要map端预合并（HashAggregate->Exchange->HashAggregate）,则shuffle write过程不需要进行sort，使用bypassMerge去写数据。

如果真的不需要排序，可以适当调高阈值。