Flume kafkasource报错：GC overhead limit exceeded

最新推荐文章于 2024-08-09 17:04:25 发布
最新推荐文章于 2024-08-09 17:04:25 发布
阅读量868 收藏 3
点赞数
分类专栏： Flume Kafka 文章标签： flume kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55685698/article/details/129997055
版权

目录

错误描述

问题分析

解决方法

错误描述

笔者本想通过flume在kafka中读取数据存储到hdfs，却在集成kafka和flume时 kafkasource报出如下错误：

Exception in thread "PollableSourceRunner-KafkaSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded 

问题分析

flume接收kafka消息过多 而分配资源不足导致报错

解决方法

进入flume/bin目录下 修改 JAVA_OPTS参数

JAVA_OPTS参数默认为20m，把这个值调大即可

(base) [hadoop@hadoop-003 flume]$ vim bin/flume-ng

 这里我把参数修改为1024m

 

电光火石尔
关注
专栏目录
Flume 内存优化之 OutOfMemoryError: GC overhead limit exceeded
Lpy的博客
09-15 760
1.问题描述：启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2.解决方案步骤： （1）在hadoop102 服务器的 /opt/module/flume/conf/flume-env.sh 文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management
flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded
qq_44982182的博客
08-13 519
flume抽取数据时：java.lang.OutOfMemoryError: GC overhead limit exceeded错误 错误日志如下： Exception in thread "PollableSourceRunner-SQLSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded at org.keedio.flume.source.SQLSource$ChannelWriter.write(SQLS
flume接收kafka消息过多导致的GC错误的解决办法
sxj的专栏
04-22 2756
当flume接收kafka消息过多会导致如下错误： Exception in thread "PollableSourceRunner-KafkaSource-s1" java.lang.OutOfMemoryError: GC overhead limit exceeded at java.lang.StringCoding$StringDecoder.decode(StringCodin...
kafka Exception in thread “xx“ java.lang.OutOfMemoryError: GC overhead limit exceeded
lanicc's blog
06-16 482
kafak单次拉取消息过多，导致堆内存不足
今晚继续做app项目，FLUME报错java.lang.OutOfMemoryError: GC overhead limit exceeded
ddbbff2005的博客
03-12 449
经百度，发现原因： 进入flume bin目录下，修改flume-ng文件，如下图： 红框的地方默认是20m，可以根据自己服务器内存大小设置，我这里设置的是10240m(也就是10个g) 原文地址：https://blog.csdn.net/yybk426/article/details/80409173 ...
flume执行报错: flume java.lang.OutOfMemoryError: GC overhead limit exceeded
AriesLY0411的博客
02-08 839
报错信息： 原因： flumeJava内存溢出 解决方案： 修改flume的bin目录下flume-ng的配置信息 把JAVA_OPTS 默认的20m调整为2048m（2G）或其他大小都可 vim /opt/software/flume190/bin/flume-ng 原配置信息： JAVA_OPTS="-Xmx20m" 修改后： ...
flume poll报错java.lang.OutOfMemoryError: GC overhead limit exceeded
m0_64670604的博客
09-23 607
flume
flume出现java.lang.OutOfMemoryError: GC overhead limit exceeded
12-21
当Flume出现"java.lang.OutOfMemoryError: GC overhead limit exceeded"错误时，这意味着Flume的堆内存不足以处理垃圾回收操作，导致垃圾回收占用了过多的CPU时间而无法完成。这通常是由于Flume处理的数据量过大或者...
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded
11-05
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded是由于flume写入HDFS时，内存不足导致的错误。这个错误和HDFS查询yarn日志目录时出现的错误类似，都是由于...
Spark错误异常-sparkMaster GC overhead limit exceeded
xubc的大数据笔记
01-09 1561
Spark错误异常-sparkMaster GC overhead limit exceeded
flume java.lang.OutOfMemoryError: GC overhead limit exceeded
tclwh123的博客
11-14 536
解决办法: <1>ps -aux|grep flume 查看刚才启动的flume进程，发现如下信息 /usr/jdk/bin/java -Xmx20m -Dflume.root.logger=INFO -cp conf <2>于是看一个flume-ng的python脚本，发现 JAVA_OPTS="-Xmx20m" 问题就是出在这里了，然后我把flume-ng脚本里...
flume报错flume java.lang.OutOfMemoryError: GC overhead limit exceeded
十色花的博客
11-08 922
flumeJava内存溢出造成 解决方案： vim /flume_app/apache-flume-1.6.0-bin/bin/flume-ng 发现 JAVA_OPTS="-Xmx20m" 把参数调大点就可以解决 JAVA_OPTS="-Xmx2048m"
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
想练武，就得下功夫
07-06 330
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
GC overhead limit exceeded问题解决
最新发布
tttalk的博客
08-09 8549
最终结果：16（id）+ 24（create_time）+ 24（modify_time）+ 48（name）+16（age）+88（address）+ 40（height）+ 40（weight）+ 64（phone）= 360字节。一个字符占2个字节。是因为在Java虚拟机中，对象的内存布局是按照一定的规则进行排列的，这种排列方式叫做对象对齐，它的占用内存一般为8个字节的整数倍。但是，请注意，这还没有包括Java对象头的开销，也没有考虑JVM的内存对齐要求（即对象大小可能需要是8的倍数）。
GC overhead limit exceeded
weixin_34067980的博客
12-26 140
2019独角兽企业重金招聘Python工程师标准>>> ...
android gradle assembleRelease 的时候报java.lang.OutOfMemoryError: GC overhead limit exceeded”
yunnywu的专栏
07-25 1631
android gradle assembleRelease 的时候报java.lang.OutOfMemoryError: GC overhead limit exceeded” 在gradle.properties 中加入下面两行 # TODO: disable daemon on CI, since builds should be clean and reliabl
Eclipse运行大量文件抛出异常java.lang.OutOfMemoryError: GC overhead limit exceeded
乱舞春秋
07-08 1809
用Eclipse运行大量文件抛出异常java.lang.OutOfMemoryError: GC overhead limit exceeded -Xms256M -Xmx1024M -XX:PermSize=64M -XX:MaxPermSize=128M
flume采集数据报错 ：java.lang.OutOfMemoryError: GC overhead limit exceeded
代码创造世界
05-22 3023
Exception in thread “PollableSourceRunner-SQLSource-sourceTest” java.lang.OutOfMemoryError: GC overhead limit exceeded at org.hibernate.type.AbstractStandardBasicType.getOptions(AbstractStandardB...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

电光火石尔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值