Spark java.lang.outofmemoryerror gc overhead limit exceeded 与 spark OOM:java hea

Spark java.lang.outofmemoryerror gc overhead limit exceeded 与 spark OOM:java hea 博客分类: spark

问题描述:

在使用Spark过程中,有时会因为数据增大,而出现下面两种错误:

Java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError:GC overhead limit exceeded

这两种错误之前我一直认为是executor的内存给的不够,但是仔细分析发现其实并不是executor内存给的不足,而是driver的内存给的不足。在standalone client模式下用spark-submit提交任务时(standalone模式部署时,默认使用的就是standalone client模式提交任务),我们自己写的程序(main)被称为driver,在不指定给driver分配内存时,默认分配的是512M。在这种情况下,如果处理的数据或者加载的数据很大(我是从Hive中加载数据),driver就可能会爆内存,出现上面的OOM错误。

解决方法:

参考:http://spark.apache.org/docs/latest/configuration.html

方法一:在spark-submit中指定 --driver-memory memSize参数来设定driver的jvm内存大小,可以通过spark-submit --help查看其他可以设置的参数。

eg:

./spark-submit \
  --master spark://7070 \
  --class $MAIN_CLASS \
  --executor-memory 3G \
  --total-executor-cores 10 \
  --driver-memory 2g \
  --name $APP_NAME \
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \
  "$SPARK_APP_JAR" 
 

方法二:在spark_home/conf/目录中,将spark-defaults.conf.template模板文件拷贝一份到/spark_home/conf目录下,命名为spark-defaults.conf,然后在里面设置spark.driver.memory  memSize属性来改变driver内存大小。

eg:

 spark.master spark://master:7077 spark.default.parallelism 10
 spark.driver.memory                2g spark.serializer org.apache.spark.serializer.KryoSerializer spark.sql.shuffle.partitions 50 http://blog.csdn.net/gaokao2011/article/details/51707163

转载于:https://my.oschina.net/xiaominmin/blog/1598415

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用\[1\]中提到了一个错误重现的信息,其中包含了一个Java异常:java.lang.OutOfMemoryError: GC overhead limit exceeded。这个异常通常是由于JVM物理内存过小引起的。默认情况下,Java虚拟机的最大内存只有64兆,这在开发和调试过程中可能没有问题,但在实际的应用环境中可能无法满足需求,特别是在应用程序较大或者有较高的访问量时。因此,我们需要增加Resin可用的虚拟机内存大小来解决这个问题。\[3\] 你可以通过调整Java虚拟机的内存参数来增加可用内存。具体的方法可以参考\[2\]中提供的链接,该链接提供了解决java.lang.OutOfMemoryError异常的方法。 #### 引用[.reference_title] - *1* [java.lang.OutOfMemoryError: GC overhead limit exceeded问题分析及解决](https://blog.csdn.net/whc888666/article/details/128496598)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [java.lang.OutOfMemoryError:GC overhead limit exceeded异常解决方法](https://blog.csdn.net/m0_43393325/article/details/114397041)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值