原因:运行时 memoryOverhead+memory > MonitorMemory
解决方法:通过-–conf spark.sql.shuffle.partitions=XXX增大partitions个数;或增大executor.memory的大小,不超过(Max)MonitorMemory即可。若已经到max仍然报错,可以减少单个Executor的并发数(cores),增大Executor数量。
原因:运行时 memoryOverhead+memory > MonitorMemory
解决方法:通过-–conf spark.sql.shuffle.partitions=XXX增大partitions个数;或增大executor.memory的大小,不超过(Max)MonitorMemory即可。若已经到max仍然报错,可以减少单个Executor的并发数(cores),增大Executor数量。