flume Kafka Channel 无法传输数据到kafka

第一个问题

我使用的flume 1.5 但是现在官网上flume版本是1.9的,所以我把source定义为了 TailDir Source,
 启动之后发现没有kafka中没有对应的topic, 然后参看flume启动日志,发现1.5版本没有TailDir Source, 
 我就把flume的版本升级到了1.7,TailDir Source这个属性是在1.6 添加的。

接下来紧接着就遇到第二个问题了

虽然官网上面说,TailDir可以支持多目录,断点续传,但是在我电脑上好像不支持,
我本来是要监控 /tmp/logs/log-* ,也就是logs目录下所有log开头的文件的,我尝试了很多次都监控不到,
最后只能该成 /tmp/logs/log-2019-9-14.log 文件才能监控到。
同时 batchSize 这个属性一定要增大,官网默认是100. 我配的是5000.

接下来就来了第三个问题。

上面的那两个坑都踩完之后发现,成功创建出topic了,但是里面没有数据。?
最后经过我多次测试,发现是一次写入到 log-2019-9-14.log 文件中的数据太多了,电脑的性能不好,
一次消费不了折磨多的数据,直接堵死了,
就不再上传了,所以就只创建了topic,而没有数据。最终把数据减少点,可以输出到kafka了
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值