Spark性能优化 Shuffle性能优化

转载 http://blog.sina.com.cn/s/blog_9ca9623b0102w8qi.html

Spark性能优化 Shuffle性能优化

一：Shuffle性能调优

1，  问题：Shuffle output file lost? 真正的最重要的原因是GC导致的！！！下一个Stage向上一个Stage要数据，需要消耗CPU， 导致GC。Full GC的时候，线程不再工作，向上一个Stage的线程请求数据，就请求不到，请求不到的时候就会重试。

2，  如果GC尤其是Full GC产生通常会导致线程停止工作，这个时候下一个Stage的Task在默认情况下就会尝试重试来获取数据，一般重试3次，每次重试的时间为5s，也就是说默认情况下，如果15s内还是无法抓取数据的话，就会 Shuffle output file lost等情况，进而会导致Task重试，甚至会导致Stage重试，最严重的是会导致Application失败，在这个时候首先就要采用高效的内存数据结构和序列化机制，JVM的调优来减少Full GC的产生。

3，  在Shuffle的时候，Reducer端获取数据会有一个指定大小的缓存空间，如果内存足够大的情况下，可以适当的增大缓存空间，否则会spill到磁盘上影响效率。

此时可以增大spark.reducer.maxSizeInFlight参数，可以调到128MB。

4，  在ShuffleMapTask端通常也会增大Map任务的写磁盘的缓存，默认情况下是32K。

spark.shuffle.file.buffer 32k

5，  调整获取Shuffle中读取数据的重试次数，默认是3次，通常建议增大重试次数。

6，  调整获取Shuffle读取数据重试的时间间隔，默认为5s，强烈建议提高该时间。

spark.shuffle.io.retryWait 5s

7,  在reducer端做Aggregation的时候，默认是20%的内存用来做Aggregation，如果超出了这个大小，就会溢出到磁盘上，建议调大百分比来提高性能。