spark Caused by: java.lang.OutOfMemoryError: Java heap space 问题 [已解决]

前言

• spark 提交任务

---

问题描述：

在使用spark过程中，有时会因为数据增大，而出现下面两种错误:

java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError：GC overhead limit exceeded

问题分析：

原因一：executor内存不够
原因二：driver内存不够

解决方法

方法一

在spark-submit中指定 --driver-memory memSize参数来设定driver的jvm内存大小，--executor-memory memSize指定executor的内存大小，可以通过spark-submit --help查看其他可以设置的参数。

• 样例 :

/opt/cloudera/parcels/spark3.3.2/bin/spark-submit --master yarn --deploy-mode cluster --executor-memory 8G --num-executors 60 --executor-cores 1 --driver-cores 1 --driver-memory 6G --queue root.spark --class com.dw.process.ads.AdsFenceVehFlowApplication spark-java-job-1.0-jar-with-dependencies.jar ${jobId} ${jsonObject}

• 修改 --driver-memory 6G 和 --executor-memory 8G

方法二

在spark_home/conf/目录中，将spark-defaults.conf.template模板文件拷贝一份到/spark_home/conf目录下，命名为spark-defaults.conf，然后在里面设置spark.driver.memory  memSize属性来改变driver内存大小，设置spark.executor.memory  memSize属性来改变executor内存大小。

---

总结

如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波，非常感谢大家！
如果有不对的地方请指正!!!