一、监控日志文件采集数据到HDFS、本地文件系统
### --- 监控日志文件采集数据到HDFS、本地文件系统
~~~ # 业务需求:
~~~ 监控日志文件,收集信息上传到HDFS 和 本地文件系统
### --- 需求分析:
~~~ 需要多个Agent级联实现
~~~ source 选择 taildir
~~~ channel 选择 memory
~~~ 最终的 sink 分别选择 hdfs、file_roll
~~~ # taildir Source。
~~~ Flume 1.7.0加入的新Source,相当于 spooldir source + execsource。
~~~ 可以监控多个目录,并且使用正则表达式匹配该目录中的文件名进行实时收集。
~~~ 实时监控一批文件,并记录每个文件最新消费位置,agent进程重启后不会有数据丢失的问题。
~~~ 目前不适用于Windows系统;其不会对于跟踪的文件有任何处理,
~~~ 不会重命名也不会删除,不会做任何修改。
~~~ 不支持读取二进制文件,支持一行一行的读取文本文件。
![](https://i-blog.csdnimg.cn/blog_migrate/3c1529a45ae3f5c2c65e8e5a2062fd48.png)
二、实现步骤:
### --- 创建第一个配置文件flume-taildir-avro.conf 配置文件包括:
~~~ 1个 taildir source
~~~ 2个 memory channel
~~~ 2个 avro sink