ava.lang.OutOfMemoryError: GC overhead limit exceeded

##### ERROR stack trace

org.broadinstitute.sting.utils.exceptions.ReviewedStingException: An error occurred during the traversal.  Message=GC overhead limit exceeded

问题产生原因:

根据sun的说法: "if too much time is being spent in garbage collection: if more than 98% of the total time is spent in garbage collection and less than 2% of the heap is recovered, an OutOfMemoryError will be thrown."

jvm gc行为中超过98%以上的时间去释放小于2%的堆空间时会报这个错误。

处理方法:

1. 在jvm启动参数中添加 "-XX:-UseGCOverheadLimit",该参数在JDK6中默认启用("-XX:+UseGCOverheadLimit")。

  调整后的生产环境中使用的参数为:   

JAVA_OPTS='-Xms512m -Xmx4096m -XX:MaxPermSize=128m -XX:-UseGCOverheadLimit -XX:+UseConcMarkSweepGC'

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Spark任务中,出现"java.lang.OutOfMemoryError: GC overhead limit exceeded"错误通常是因为Spark应用程序尝试使用的内存超过了JVM堆上限。 这个错误的背后是JVM垃圾回收(GC)无法回收足够的内存空间,因为垃圾回收器花费了太多的时间进行垃圾收集操作,而实际上并没有释放出足够的内存。 解决这个问题的方法可以有以下几个方面: 1. 增加JVM堆内存限制:可以通过增大-Xmx和-Xms选项的值来增加堆内存大小。可以在启动Spark应用程序时通过设置spark.executor.memory和spark.driver.memory来增加堆内存大小。 2. 优化Spark应用程序:检查是否有内存泄漏或者不必要的对象持久化。可以通过使用rdd.unpersist()等方法及时释放内存。还可以使用广播变量代替重复的数据复制。 3. 调整垃圾回收选项:可以通过设置-Xloggc选项来导出GC日志,以便更详细地了解GC过程。可以分析GC日志来优化GC回收策略,例如调整垃圾回收器的选择、调整堆内存大小或调整垃圾回收时间限制。 4. 分析数据集大小和任务计算复杂度:检查数据集大小是否超过了可用内存大小,是否可以进行适当的分区和过滤操作来减小数据集的大小,以降低内存的使用量。 5. 增加硬件资源:如果以上方法都无法解决问题,可以考虑增加硬件资源,包括增加内存容量或增加节点的数量。 总之,解决"java.lang.OutOfMemoryError: GC overhead limit exceeded"的问题,需要综合考虑内存配置、Spark应用程序的优化以及数据处理策略等多个方面。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值