解决flume1.7 TAILDIR source不支持window的问题

考虑使用flume+hdfs+spark+hbase+springboot-web+echart实现对日志进行采集、定时解读、图形化展示。

 

过程中碰到一个问题，使用flume1.7的taildir类型跟踪日志文件，如果flume部署在windows上会出现如下问题

flume java.lang.UnsupportedOperationException: View 'unix' not available

 

经查询发现问题出自flume源代码，参考如下文章解决问题：

https://www.jianshu.com/p/5a53c002b1dd

 

按文中内容归纳整理结果请见附件

内容如下：

1.flume-win-taildir-source

改造源自flume1.7release下的flume-taildir-source，在既存的unix之外添加了对windows路径的支持

 

2.lib

将内容复制到flume1.7的lib文件中即可在配置文件中使用a1.sources.source1.type = org.apache.flume.source.wintaildir.TaildirSource

 

3.example-hdfs.conf

flume的配置文件，其中使用自定义的TaildirSource监控文件夹，将生成文件存入hdfs

 

 

启动flume命令

flume-ng agent conf conf conf-file example-hdfs.conf name a1