flume遍历文件目录
flume版本:1.9
需求:
通过flume读取目录下的日志文件并推送至kafka,需要能识别多级目录
解决方案:
1.github下载flume源码,修改flume-taildir-sorce源码,实现多级文件目录识别后,打成jar包
2.将jar包替换掉flume安装目录lib文件夹的同名jar包
2.重启flume agent
具体实现直接看参考链接吧,需要注意的是,在mvn package出现包缺失问题时,直接把报错的无关模块module注释掉就行:
https://blog.csdn.net/python_awm/article/details/112909512?spm=1001.2014.3001.5506
如果不想自己打jar包,我有已经打好的包可直接下载,网盘链接:
https://pan.baidu.com/s/1ANTL1W4E2lTl0WgGiR8Z-g?pwd=f67s