本文详细介绍了Flume的配置，包括taildir source用于监控文件夹，kafka source从Kafka消费数据，kafka channel与memory channel、file channel的使用，以及hdfs sink将数据写入HDFS的配置。配置中包含源的拦截器、通道的存储选项和sink的数据滚动策略。
下文中的agent统一取名为a1
#taildir source
a1.sources = r1
a1.sources.r1.type = TAILDIR #选择source为TAILDIR
a1.sources.r1.filegroups = f1 #需要监控的文件夹组，实现多目录监控
a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.* # 需要监控的文件夹
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json # 实现断点续传的临时文件
a1.sources.r1.interceptors = i1 # 拦截器组，可以自定拦截器
a1.sources.r1.interceptors.i1.type = com.xigema.flume.interceptor.ETLInterceptor$Builder #自定拦截器内部Buider类的包名
#=====================================================================
#kafka source
a1.sour
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
