spark经典报错:Missing an output location for shuffle 2

最新推荐文章于 2024-02-28 01:53:13 发布

小卢的博客

最新推荐文章于 2024-02-28 01:53:13 发布

阅读量752

点赞数 2

文章标签： spark 大数据

本文链接：https://blog.csdn.net/weixin_43806056/article/details/131935679

版权

1、报错内容：

org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 2
        at org.apache.spark.MapOutputTracker$$anonfun$convertMapStatuses$2.apply(MapOutputTracker.scala:1034)
        at org.apache.spark.MapOutputTracker$$anonfun$convertMapStatuses$2.apply(MapOutputTracker.scala:1030)
        at scala.collection.Iterator$class.foreach(Iterator.scala:891)
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
        at org.apache.spark.MapOutputTracker$.convertMapStatuses(MapOutputTracker.scala:1030)
        at org.apache.spark.MapOutputTrackerWorker.getMapSizesByExecutorId(MapOutputTracker.scala:818)
        at org.apache.spark.shuffle.BlockStoreShuffleReader.read(BlockStoreShuffleReader.scala:55)

2、报错分析
由于数据量过大但是给的资源较少导致报错，或者数据倾斜并且资源不足导致的报错。

3、解决方案
（1）增加分区数：REPARTITION(n)，适当提高n的数值。
（2）增加executor内存：提高executor-memory的值
（3）若数据倾斜：
a、倾斜的数据无用的话直接过滤掉
b、将倾斜的数据单独处理
（4）增加重试次数和重试时间间隔:
a、通过spark.shuffle.io.maxRetries控制重试次数，默认是3，可适当增加，例如10。
b、通过spark.shuffle.io.retryWait控制重试的时间间隔，默认是5s，可适当增加，例如10s。