spark执行在yarn上executor内存不足异常ERROR org.apache.spark.scheduler.cluster.YarnClusterScheduler - Lost executo
org.apache.spark.shuffle.FetchFailedException
参考:
https://www.cnblogs.com/double-kill/p/9012383.html
后记:经过各种试,其实还是资源问题,将executor内存给大点,executor数量也大点,问题就解决了,具体配置根据自己集群情况分配调试
后来又出现了了这种问题,资源给大也解决不了问题,最后通过各种尝试,发现增大partition数量,问题就解决了。参数:.config(“spark.sql.shuffle.partitions”, 500),原本默认是200,这里增大到500.