第一个问题
我使用的flume 1.5 但是现在官网上flume版本是1.9的,所以我把source定义为了 TailDir Source,
启动之后发现没有kafka中没有对应的topic, 然后参看flume启动日志,发现1.5版本没有TailDir Source,
我就把flume的版本升级到了1.7,TailDir Source这个属性是在1.6 添加的。
接下来紧接着就遇到第二个问题了
虽然官网上面说,TailDir可以支持多目录,断点续传,但是在我电脑上好像不支持,
我本来是要监控 /tmp/logs/log-* ,也就是logs目录下所有log开头的文件的,我尝试了很多次都监控不到,
最后只能该成 /tmp/logs/log-2019-9-14.log 文件才能监控到。
同时 batchSize 这个属性一定要增大,官网默认是100. 我配的是5000.
接下来就来了第三个问题。
上面的那两个坑都踩完之后发现,成功创建出topic了,但是里面没有数据。?
最后经过我多次测试,发现是一次写入到 log-2019-9-14.log 文件中的数据太多了,电脑的性能不好,
一次消费不了折磨多的数据,直接堵死了,
就不再上传了,所以就只创建了topic,而没有数据。最终把数据减少点,可以输出到kafka了