spark.yarn.executor.memoryOverhead 解决办法
在 spark 运行脚本中加入 --conf spark.yarn.executor.memoryOverhead=6000
单位是M 可以根据自己的情况调节大小
这个问题主要是因为对外内存 太小 不够JVM自身的开销 的开销
在 spark 运行脚本中加入 --conf spark.yarn.executor.memoryOverhead=6000
单位是M 可以根据自己的情况调节大小
这个问题主要是因为对外内存 太小 不够JVM自身的开销 的开销