flume使用taildir收集文件和文件夹

最新推荐文章于 2024-09-18 11:19:02 发布

madman1990

最新推荐文章于 2024-09-18 11:19:02 发布

阅读量4k

点赞数

分类专栏：大数据学习

本文链接：https://blog.csdn.net/u010316188/article/details/79905372

版权

本文介绍了如何使用Flume的taildir源来同时收集文件和文件夹中的数据。根据官方文档，1.7版之前需要自行编译taildir source的JAR包并放入Flume的lib目录。提供了jar包下载链接以及配置文件示例和启动命令。

摘要由CSDN通过智能技术生成

使用taildir实现同时收集文件夹和文件的功能

tail source官方文档

Flume在1.7之前没有提供tail dir source这样的命令，需要自己编译tail dir source的jar包，编译好之后上传到flume的lib目录下，

jar包下载地址
链接：https://pan.baidu.com/s/1oIPqyvALUyzpd8YpdpNEqA

配置文件参考：

taildir.properties

# in this case called 'a1'

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# For each one of the sources, the type is defined
a1.sources.s1.type = org.apache.flume.source.taildir.TaildirSource
a1.sources.s1.positionFile = /opt/cdhmoduels/apache-flume-1.5.0-cdh5.3.6-bin/taidir/dirsource/taildir_position.json
a1.sources.s1.filegroups = f1 f2
a1.sources.s1.filegroups.f1 = /opt/cdhmoduels/apache-flume-1.5.0-cdh5.3.6-bin/taidir/madman.txt