遇到的问题---spark---spark OutOfMemoryError: Java heap space

最新推荐文章于 2023-07-15 11:23:49 发布

张小凡vip

最新推荐文章于 2023-07-15 11:23:49 发布

阅读量1.2k

点赞数

分类专栏：遇到问题解决方案集锦文章标签： spark outofmemory error heap space

本文链接：https://blog.csdn.net/zzq900503/article/details/118516033

版权

遇到问题解决方案集锦专栏收录该内容

264 篇文章 644 订阅 ¥19.90 ¥99.00

订阅专栏

本文详细分析了Spark运行过程中遇到的`OutOfMemoryError: Java heap space`问题，探讨了内存不足的原因，包括executor和driver内存不够。提出了通过调整`spark.shuffle.memoryFraction`和`spark.storage.memoryFraction`等参数来优化内存使用，以及注意`spark.executor.memoryOverhead`和`spark.driver.memoryOverhead`对堆外内存的影响。同时，提到了在Spark on k8s环境下配置内存的特殊注意事项。

摘要由CSDN通过智能技术生成

情况

使用命令运行spark任务

$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/jars/mongo-spark-connector_2.11-2.4.2.jar,$SPARK_HOME/jars/mongo-java-driver-3.12.5.jar  --conf spark.executor.memory=6g --conf spark.executor.cores=8 --conf spark.executor.instances=4 --conf spark.driver.memory=5g --class com.test.insightdiscovery.upload.PushArticleUpload /tmp/InsightDiscovery-thinking.jar

运行到最后shuffle阶段时报错java.lang.OutOfMemoryError: Java heap space如下：

sh_operator.py:126} INFO - 21/05/19 22:06:05 WARN TaskSetManager: Lost task 1.1 in stage 3.0 (TID 240, 10.50.28.198, executor 1): org.apache.spark.SparkException: Task failed while writing rows.
[2021-05-19 22:06:05,902] {bash_operator.py:126} INFO - 	at org.ap

了解本专栏