目录
- 1、shuffle block file 合并
- 2、提高缓存数值
- 3、延迟失败次数,提高失败重试次数
- 4、提高reduce 端内存占比
1、shuffle block file 合并
new SparkConf().set("spark.shuffle.consolidateFiles", "true")
spark.shuffle.consolidateFiles:是否开启shuffle block file的合并,默认为false
2、提高缓存数值
spark.reducer.maxSizeInFlight:reduce task的拉取缓存,默认48m
spark.shuffle.file.buffer:map task的写磁盘缓存,默认32k
3、延迟失败次数,提高失败重试次数(避免gc时间过长)
spark.shuffle.io.maxRetries:拉取失败的最大重试次数,默认3次
spark.shuffle.io.retryWait:拉取失败的重试间隔,默认5s
4、提高reduce 端内存占比
spark.shuffle.memoryFraction:用于reduce端聚合的内存比例,默认0.2,超过比例就会溢出到磁盘上。