Shuffle output file lost

前言

本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见 Spark异常问题汇总

正文

Spark 运行时有时出现 Shuffle 拉取文件失败的情况，如 Shuffle output file lost 。

真正的原因是 GC 导致的!

如果 GC 尤其是 FullGC 产生，通常会导致线程停止工作，这个时候下ー个 Stage 的 Task 在默认情况下就会重试来获取数据。

一般重试 3 次，每次重试的时间为 5s 。

也就是说，默认情况下， 15s 内如果还是无法抓到数据，就会出现 Shuffle output file lost 等情况，进而导致 Task 重试，甚至会导致 Stage 重试，最严重的是会导致 App 失败;

在这个时候首先就要采用高效的内存数据结构和序列化机制、 JVM 调优来减少 FullGC 的产生。

解决方案

Spark 下的 JVM GC 导致的 Shuffle 拉取文件失败时调优措施如下

1. 在 Shuffle 的时候， Reduce 端获取数据会有一个指定大小的缓存空间，在内存足够大的情况下，可以适当地增大该缓存空间，否则会 Spill 到磁盘上，影响效率。
   此时可以调整(增大) spark.reducer.maxSizeInFlight 参数。
2. 在 ShuffleMapTask 端通常也会増大 Map 任务的写磁盘的缓存，默认情况下是 32KB ，即 spark.shuffle.file.buffer 32k 。
3. 调整获取 Shuffle 数据的重试次数，默认是 3 次，通常建议增大重试次数: spark.shuffle.io.maxRetries
4. 调整获取 Shuffle 数据重试的时间间隔，默认为 5s ，即 spark.shuffle.io.retryWait 5s ，强烈建议增大该时间间隔。