Flume之实时监控目录下的多个追加文件

1.实时监控目录下的多个追加文件

​ Exec source适用于监控一个实时追加的文件，不能实现断点续传；Spooldir Source适合用于同步新

文件，但不适合对实时追加日志的文件进行监听并同步；而Taildir Source适合用于监听多个实时追加

的文件，并且能够实现断点续传。

1）案例需求:使用Flume监听整个目录的实时追加文件，并上传至HDFS

2）需求分析:

（1）创建符合条件的flume配置文件

（2）执行配置文件，开启监控

（3）向监控文件追加内容

​ echo 1111 >> taildir/file1.txt

​ echo 2222 >> taildir/file2.txt

（4）查看HDFS上的数据

3）实现步骤

（1）创建配置文件flume-taildir-hdfs.conf

创建一个文件

[xiao @hadoop102 datas]$ vim flume-taildir-hdfs.conf

添加如下内容

a1.sources = r1		#定义source
a1.sinks = k1		#定义sink
a1.channels = c1	#定义channel

# Describe/configure the source
a1.sources.r1.type = TAILDIR		#定义source类型
a1.sources.r1.positionFile = /opt/module/flume-1.9.0/datas/position/position.json
a1.sources.r1.filegroups = f1 f2		#指定position_file位置
a1.sources.r1.filegroups.f1 = /opt/module/flume-1.9.0/datas/taildir/file1.txt
a1.sources.r1.filegroups.f2 = /opt/module/flume-1.9.0/datas/taildir/file2.txt
#a1