Taildirsource采集日志

最新推荐文章于 2024-05-02 20:26:26 发布

Drgom

最新推荐文章于 2024-05-02 20:26:26 发布

阅读量249

点赞数

分类专栏： Flume 文章标签： flume

本文链接：https://blog.csdn.net/qq_43662627/article/details/109036468

版权

Taildirsource在Flume中通过正则匹配采集日志，但日志文件写入时临时名变化（如*.tmp转为**.log）可能导致重复采集。这种命名更改是造成重复的主要原因。

摘要由CSDN通过智能技术生成

Taildirsource采用的是正则表达式，不可随意修改名字否则回出现重复采集问题

1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#组名名.属性名=属性值
a1.sources.r1.type=TAILDIR
a1.sources.r1.filegroups=f1 f2  f3
a1.sources.r1.filegroups.f1=/root/flume/01
a1.sources.r1.filegroups.f2=/root/flume/02

a1.sources.r1.filegroups.f3=/root/flume/03

#定义sink
a1.sinks.k1.type=logger
a1.sinks.k1.maxBytesToLog=