首先遇到这个问题原因是:数据太大,超出了预期的访问量。
解决办法:增大内存,为spark-driver进程分配的内存大小
1.去到spark安装路径下的conf文件夹下面,复制“spark-defaults.conf.template”这个文件夹,接着把复制的文件夹改名为“spark-defaults.conf”
复制改后缀名
2.修改“spark-defaults.conf”文件
将26行的注释删去即可解决这个问题
解决OutOfMemoryError:java heap space
最新推荐文章于 2024-08-31 08:00:00 发布