flume“Space for commit to queue couldn't be acquired”异常产生分析

最新推荐文章于 2022-06-14 15:37:09 发布
最新推荐文章于 2022-06-14 15:37:09 发布
阅读量6.4k 收藏 13
点赞数 5
分类专栏： 大数据 flume 文章标签： 大数据 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaopu12345/article/details/77922924
版权

问题触发的环境：kafka source + memory channel + hdfs sink

日志截图如下：
日志

这里说的内容是：queue空间不足。sink好像没有紧跟source，或者是buffer大小太小。这里的queue代表什么？sink没有紧跟source的具体含义是什么？buffer又是什么？我分析源代码后，将结果在下面铺开向大家展示。

memory channel内部结构

memory channel内部结构
memory channel内部有三个队列，分别是图中的putList，queue，takeList。有两个参数来控制他们的大小，默认值都是100，分别是：

最低0.47元/天 解锁文章
flume使用中遇到的错误
lzlnd的博客
03-27 1298
1.Space for commit to queue couldn’t be acquired 原因：对于内存通道，当输入过多，而无法全部输出的时候，会导致内存通道崩溃，从而报错。 解决办法：设置agent1.channels.<channel_name>.keep-alive = 30 ...
flume MemoryChannel分析
ty_laurel的博客
12-28 6485
前边介绍了flume的基本概念和Source部分，接下来看看flume中的第二大组件Channel中的MemoryChannel。MemoryChannel是完全在内存中运行，速度很快，其优点同样也就成了缺点，不能持久化，若机器发生宕机或断电，数据就会丢失。在实际使用中需要根据具体的需求进行合理的选择。  先看下MemoryChannel的基本的类图，根据这个结构图可以很好的帮助理解。
flume ChannelFullException：Space for commit to queue couldn‘t be acquired
请叫我大师兄
06-14 1611
flume使用MemoryChannel ChannelFullException 报错：Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight Flume中Memory Channel参数说明。
flume报错：Space for commit to queue couldn‘t be acquired. Sinks are likely not keeping up with sources
小蚯蚓的博客
11-26 2755
1.问题描述 自己采用flume监控log文件，结果报错 2018-11-26 19:32:04,687 (pool-5-thread-1) [ERROR - org.apache.flume.source.ExecSource$ExecRunnable.run(ExecSource.java:353)] Failed while running command: tail -F /opt/...
org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Sinks are lik
www.hohode.com
02-24 2276
http://blog.csdn.net/hijk139/article/details/8465094 做以下修改agent.channels.memoryChanne3.keep-alive = 60 agent.channels.memoryChanne3.capacity = 1000000修改java最大内存大小 vi bin/flume-ng JAVA_OPTS="-Xmx2048m"
Flume报错：Space for commit to queue couldn't be acquired Sinks are likely not keeping
muyingmiao的专栏
09-21 1760
今天在做Flume项目时，遇到一个错误 Caused by: org.apache.flume.ChannelException: Space for commit to queue couldn't be acquired Sinks are likely not keeping up with sources, or the buffer size is too tight ...
Flume报 Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources,...
weixin_30701575的博客
03-30 304
报这个错误 需要一个是flume堆内存不够.还有一个就是把channel的容器调大 在channel加配置 type - 组件类型名称必须是memory capacity 100 存储在 Channel 当中的最大 events 数 transactionCapacity 100 同时刻从Source 获取，或发送到 Sink 的最大 eve...
Flume启动运行时报错org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. S...
05-26
这个错误通常是由于Flume的Channel队列已满而导致的。解决这个问题的方法如下： 1. 增加Channel队列大小 在Flume的配置文件中找到对应的Channel配置项，增加其capacity属性，例如： ``` a1.channels.c1.capacity ...
ERROR source.AvroSource: Avro source source2: Unable to process event batch. Exception follows. org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight
最新发布
06-08
这个错误通常是由于 Flume 的 Channel 缓冲区已满导致的。可能的原因有： 1. Sinks 处理速度跟不上 Sources 的产生速度，导致 Channel 缓冲区积压过多数据。 2. Channel 的缓冲区设置太小，无法容纳大量数据。 ...
org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired.问题
流的博客
12-24 2589
flume报错代码： ERROR source.ExecSource: Failed while running command: tail -F /root/apps/flume_source/1.log org.apache.flume.ChannelException: Unable to put batch on required channel: org.apache.flume.ch...
flume相关报错
璃鹿的博客
02-20 431
（1）Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight （2）org.apache.flume.ChannelException: Take list for MemoryTransaction, capacity 1000 full, consider committing more frequen.
Flume报错：Sinks are likely not keeping up with sources, or the buffer size is too tight
小蚯蚓的博客
05-27 1447
一、问题描述 flume监控日志，同时，发送到flume监控的avro端口，当大量数据1000万条数据适合，flume监控日志的报错。然后，查看flume监控界面，发现flume监控界面消费突然消失。查看监控avro端口的agent的日志报错 Avro source avro_source: Unable to process event batch. Exception follows. org.apache.flume.ChannelFullException: Space for com..
org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired
Jamie's Blogs
09-24 995
flume启动出现异常异常报告如下原因:解决方式 异常报告如下 19/09/24 11:46:57 ERROR source.ExecSource: Failed while running command: tail -F -c +0 /export/callLog/call.log org.apache.flume.ChannelFullException: Space for commit ...
记录Flume使用KafkaSource的时候Channel队列满了之后发生的怪异问题
热门推荐
大数据训练营
06-19 1万+
Flume的这个问题纠结了2个月，因为之前实在太忙了，没有时间来研究这个问题产生的原理，今天终于研究出来了，找出了这个问题所在。 先来描述一下这个问题的现象： Flume的Source用的是KafkaSource，Sink用的是Custom Sink，由于这个Custom Sink写的有一点小问题，比如batchSize是5000次，第4000条就会发生exception，这样每次都会写入40
flume报错：监控的access.log日志数据量大导致 org.apache.flume.ChannelFullException: Space for commit to queue could
小蚯蚓的博客
05-24 667
一、问题描述 通过flume监控日志，传输到kafka，进而streaming消费，但是，突然streaming消费不到信息。向kafka单独发送消息，streaming可以收到信息，所以确定是flume问题，查看flume日志 Failed while running command: tail -F /opt/datas/access.log org.apache.flume.ChannelFullException: Space for commit to queue couldn't be
flume异常org.apache.flume.ChannelFullException
chilai4545的博客
08-01 1090
使用flume接受avro数据时， 抛出异常 org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with ...
解决flume运行中的一个异常问题！
weixin_34239169的博客
02-20 1845
今天在本地测试flume的exec  监控文件   分割的问题！！！遇到各种141异常问题！   怀疑是在切割文件的时候超过了监控文本的时间，导致flume异常退出，，，所以增加了keep-alive 时长，，，他的默认值是3秒，，我把它设置为30秒，，，之后运行，，，，他不再异常！！！ 解决：设置agent1.channels.&lt;channel_name&gt;.keep-alive ...
Flume自定义拦截器，重启后不能继续处理的问题
javalover123888的专栏
05-19 939
1、背景flume版本：1.8，有一个自定义拦截器Interceptor把json数据，转化为|分隔的数据，便于hive加载。使用File Channel，重启后，不能继续处理数据。2、原因分析查看日志，一直报json转换异常，转换的内容是 |分隔的，猜测内容应该是经过拦截器处理以后的。进一步分析，因为使用了File Channel，重启后，会从检查点Checkpoint取出数据继续处理，检查点C...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值