关于spark集群内存问题

在使用spark集群运行任务的时候会遇到内存不够的情况:

error:Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

这种时候就需要扩大你虚拟机的内存,但还有一种情况是你虚拟机 Spark Executor Memory参数设置的不对,导致spark拿不到自己所需要的内存也同样会报上述的错误.
所以我们就需要把Spark Executor Memory调大：

SPARK_WORKER_MEMORY=1024M

因为我的虚拟机执有2G内存,开始我只给了512M导致spark拿不到所需的内存,就报上述错误.

还有一种解决办法是设置Spark Executor Memory的大小
修改每一个Executor需要的内存.
https://blog.csdn.net/weixin_43878293/article/details/92977940.