Spark性能优化第六季

一：Shuffle性能调优

1，问题：Shuffle output file lost？真正的原因是GC导致的！！！如果GC尤其是Full GC产生通常会导致线程停止工作，这个时候下一个Stage的Task在默认情况下就会尝试重试来获取数据，一般重试3次每次重试的时间为5s，也就是说默认情况下15s内如果还是无法抓到数据的话，就会出现Shuffle output file lost等情况，进而会导致Task重试，甚至会导致Stage重试，最严重的是会导致App失败；在这个时候首先就要采用高效的内存数据结构和序列化机制、JVM的调优来减少Full GC的产生；

2，在Shuffle的时候，Reducer端获取数据就会有一个指定大小的缓存空间，如果内存足够达到情况下，可以适当的增大该缓存空间，否则会spill到磁盘，影响效率。

此时可以调整（增大）spark.reducer.maxSizeInFlight参数；

3，在ShuffleMapTask端通常也会增大Map任务的写磁盘的缓存，默认情况下是32K，spark.shuffle.file.buffer；

4，调整获取Shuffle数据的重试次数，默认是3次，通常建议增大重试次数；调整获取Shuffle数据重试的时间间隔，默认是5s，强烈建议提高该时间，spark.shuffle.io.retryWait；

5，在Reducer端做Aggregation的时候，默认是20%的内存用来做Aggregation，如果超出了这个大小就会溢出到磁盘上，建议调大百分比来提高性能；