CC00045.hadoop——|Hadoop&Flume.V08|——|Flume.v08|Flume.v1.9案例.v06|

一、监控日志文件采集数据到HDFS、本地文件系统

### --- 监控日志文件采集数据到HDFS、本地文件系统

~~~     # 业务需求：
~~~     监控日志文件，收集信息上传到HDFS 和 本地文件系统

### --- 需求分析：

~~~     需要多个Agent级联实现
~~~     source 选择 taildir
~~~     channel 选择 memory
~~~     最终的 sink 分别选择 hdfs、file_roll

~~~     # taildir Source。

~~~     Flume 1.7.0加入的新Source，相当于 spooldir source + execsource。
~~~     可以监控多个目录，并且使用正则表达式匹配该目录中的文件名进行实时收集。
~~~     实时监控一批文件，并记录每个文件最新消费位置，agent进程重启后不会有数据丢失的问题。
~~~     目前不适用于Windows系统；其不会对于跟踪的文件有任何处理，
~~~     不会重命名也不会删除，不会做任何修改。
~~~     不支持读取二进制文件，支持一行一行的读取文本文件。

二、实现步骤：

### --- 创建第一个配置文件flume-taildir-avro.conf 配置文件包括：

~~~     1个 taildir source
~~~     2个 memory channel
~~~     2个 avro sink