Flume 内存优化之 OutOfMemoryError: GC overhead limit exceeded

最新推荐文章于 2024-10-10 15:33:07 发布
最新推荐文章于 2024-10-10 15:33:07 发布
阅读量760 收藏
点赞数
分类专栏： 项目经验 技术总结 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S_Alics/article/details/108592966
版权
当启动Flume时遇到OutOfMemoryError: GC overhead limit exceeded异常，可以通过修改配置文件flume-env.sh来优化内存设置。在hadoop服务器上，增加JAVA_OPTS参数，如-Xms100m -Xmx2000m，并使用xsync工具同步配置到其他节点。Flume内存优化建议JVM heap设置为4G以上，并保持-Xms和-Xmx一致以减少内存抖动和fullgc的发生。
摘要由CSDN通过智能技术生成

1.问题描述：启动消费Flume抛出如下异常

ERROR hdfs.HDFSEventSink: process failed

java.lang.OutOfMemoryError: GC overhead limit exceeded

2.解决方案步骤：

（1）在hadoop102 服务器的 /opt/module/flume/conf/flume-env.sh 文件中增加如下配置

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

（2）同步配置到hadoop103、hadoop104服务器

[lpy@hadoop102 conf]$ xsync flume-env.sh

3.Flume内存参数设置及优化

  • JVM heap一般设置为 4G 或更高，部署在单独的服务器上（4核8线程16G内存）
  • -Xmx 与 -Xms 最好设置一致，减少内存抖动带来的性能影响
最低0.47元/天 解锁文章
天涯问路
关注
专栏目录
flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded
qq_44982182的博客
08-13 519
flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded错误 错误日志如下： Exception in thread "PollableSourceRunner-SQLSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded at org.keedio.flume.source.SQLSource$ChannelWriter.write(SQLS
Spark错误异常-sparkMaster GC overhead limit exceeded
xubc的大数据笔记
01-09 1561
Spark错误异常-sparkMaster GC overhead limit exceeded
flume执行报错: flume java.lang.OutOfMemoryError: GC overhead limit exceeded
AriesLY0411的博客
02-08 838
报错信息： 原因： flumeJava内存溢出 解决方案： 修改flume的bin目录下flume-ng的配置信息 把JAVA_OPTS 默认的20m调整为2048m（2G）或其他大小都可 vim /opt/software/flume190/bin/flume-ng 原配置信息： JAVA_OPTS="-Xmx20m" 修改后： ...
JVM错误：OutOfMemoryError: GC overhead limit exceeded
最新发布
weixin_45626288的博客
10-10 893
OutOfMemoryError: GC overhead limit exceeded 是 JVM 中的一种错误，表示垃圾回收器在处理内存时效率低下。这种情况通常意味着 JVM 在进行垃圾回收时，花费了超过98%的时间，但只回收了不到2%的内存。这表明应用程序面临严重的内存压力，可能无法继续正常运行。
Flume kafkasource报错：GC overhead limit exceeded
m0_55685698的博客
04-06 868
笔者在集成kafka和flume时 kafkasource报出如下错误：Exception in thread "PollableSourceRunner-KafkaSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded
今晚继续做app项目，FLUME报错java.lang.OutOfMemoryError: GC overhead limit exceeded
ddbbff2005的博客
03-12 449
经百度，发现原因： 进入flume bin目录下，修改flume-ng文件，如下图： 红框的地方默认是20m，可以根据自己服务器内存大小设置，我这里设置的是10240m(也就是10个g) 原文地址：https://blog.csdn.net/yybk426/article/details/80409173 ...
flume poll报错java.lang.OutOfMemoryError: GC overhead limit exceeded
m0_64670604的博客
09-23 607
flume
Out of memory error : GC overhead limit exceeded
10-19 203
GC overhead limit exceeded 是指垃圾回收器通过分析当前内存使用趋势，提前抛出异常而不是真正等到内存耗尽再抛出异常。如果真正等到内存耗尽再抛出异常，可能的后果是：我们连保存重要数据的空间都没了。 那么GC是如何分析内存使用趋势来决定是否跑出此异常呢？ 默认情况下, 如果内存使用量达到一个阈值之后，GC花费的时间超过 98%, 并且GC回收的内存少于 2%，JVM就...
flume出现java.lang.OutOfMemoryError: GC overhead limit exceeded
12-21
当Flume出现"java.lang.OutOfMemoryError: GC overhead limit exceeded"错误时，这意味着Flume的堆内存不足以处理垃圾回收操作，导致垃圾回收占用了过多的CPU时间而无法完成。这通常是由于Flume处理的数据量过大或者...
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded
11-05
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded是由于flume写入HDFS时，内存不足导致的错误。这个错误和HDFS查询yarn日志目录时出现的错误类似，都是由于...
java.lang.OutOfMemoryError: GC overhead limit exceeded
关注系统性能调优
06-08 1万+
今天现场weblogic报java.lang.OutOfMemoryError: GC overhead limit exceeded，在metalink查了下，有明确解释，要设置一个JVM参数，不过由于当前weblogic内存设置为4G，所以设置参数的做法其实并不是解决问题之道，还是要分析weblogic 内存溢出文件，得出是哪个功能有问题： APPLIES TO: Oracle W
java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法
热门推荐
for ever的log——永远的足迹
07-07 4万+
java.lang.OutOfMemoryError: GC overhead limit exceeded解决办法<br /> <br />@for&ever 2010-07-07<br /><br />一、异常如下：<br />Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded<br /> <br />二、解释：<br />JDK6新增错误类型。当GC为释放很小空间占用大量时间时抛出。<br
flume java.lang.OutOfMemoryError: GC overhead limit exceeded
tclwh123的博客
11-14 536
解决办法: &lt;1&gt;ps -aux|grep flume 查看刚才启动的flume进程，发现如下信息 /usr/jdk/bin/java -Xmx20m -Dflume.root.logger=INFO -cp conf &lt;2&gt;于是看一个flume-ng的python脚本，发现 JAVA_OPTS="-Xmx20m" 问题就是出在这里了，然后我把flume-ng脚本里...
flume报错flume java.lang.OutOfMemoryError: GC overhead limit exceeded
十色花的博客
11-08 922
flumeJava内存溢出造成 解决方案： vim /flume_app/apache-flume-1.6.0-bin/bin/flume-ng 发现 JAVA_OPTS="-Xmx20m" 把参数调大点就可以解决 JAVA_OPTS="-Xmx2048m"
Out of memory: GC overhead limit exceeded.
kongT。的博客
09-26 469
android 打正式包出现的问题： 百度一下解决办法有很多，之前也遇到过，只是每次都去百度太麻烦，找不到精准答案， 这次记录下来： 1、在你的app下的build.gradle文件的android{}里面加上下面的代码： dexOptions { preDexLibraries true javaMaxHeapSize "16g" incremental true dexInProcess = true } 2、项目下的gradle.properties里面加.
OutOfMemoryError GC overhead limit exceeded
Eric_Hxy的专栏
07-31 408
在Java虚拟机中增加参数： -XX:-UseGCOverheadLimit 可以disable该功能
java 异常 连接错误代码_java连接数据库错误代码
weixin_42361153的博客
02-13 454
错误com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenea...错误com.mysql.jdbc.exceptions.j...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值