这个可能是一个资源问题,应该给任务分配更多的 cores 和Executors,并且分配更多的内存。并且需要给RDD分配更多的分区
找到spark下的conf配置文件中的spark-env.sh
在内容末尾添加配置参数
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2g
给worker分配更多的cores和memory即可
原文:https://blog.csdn.net/u013709270/article/details/78879869
这个可能是一个资源问题,应该给任务分配更多的 cores 和Executors,并且分配更多的内存。并且需要给RDD分配更多的分区
找到spark下的conf配置文件中的spark-env.sh
在内容末尾添加配置参数
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2g
给worker分配更多的cores和memory即可
原文:https://blog.csdn.net/u013709270/article/details/78879869