使用 Flume 监听整个目录的实时追加文件，并上传至 HDFS

最新推荐文章于 2023-05-15 17:03:56 发布

VIP文章夏殿灬青葛石

最新推荐文章于 2023-05-15 17:03:56 发布

阅读量767

点赞数

分类专栏： Flume 文章标签： hdfs flume hadoop

本文链接：https://blog.csdn.net/W2398439780/article/details/127751690

版权

Exec source 适用于监控一个实时追加的文件，不能实现断点续传；

Spooldir Source适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步；

而 Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。

创建配置文件 flume-taildir-hdfs.conf

在这里插入图片描述
添加如下内容

a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
a3.sources.r3.type = TAILDIR
a3.sources.r3.positionFile = /opt/module/flume/tail_dir.json
a3.sources.r3.filegroups = f1 f2
a3.sources.r3.filegroups.f1 = /opt/module/flume/files/.*file.*
a3.sources.r3.filegroups.f2 = /opt/module/flume/files2/.*log.*
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://hadoop100:8080/flume/upload2/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePre