Flume使用之监听单个文件内容

最新推荐文章于 2024-01-04 09:08:54 发布

永不落后于人

最新推荐文章于 2024-01-04 09:08:54 发布

阅读量451

点赞数

分类专栏： # flume hadoop 文章标签： flume

本文链接：https://blog.csdn.net/FlatTiger/article/details/113983871

版权

hadoop 同时被 2 个专栏收录

59 篇文章 2 订阅

订阅专栏

flume

11 篇文章 0 订阅

订阅专栏

本文详细介绍了如何配置Flume agent，使用exec source监控单个文件，并探讨了防止因agent意外终止导致数据重复的问题。通过设置channels、sinks和文件滚动策略，确保数据的准确性和一致性。

摘要由CSDN通过智能技术生成

监听单个文件，source要指定为exec

缺陷：
如果执行flume采集过程中，该agent意外结束，重新启动时会再次读取文件内容到指定目录。造成数据重复。

# 定义agent名字 a1
# 定义sources、channels、sinks  都可以有多个，空格隔开
a1.sources = r1
a1.channels = c1
a1.sinks = k1

# 设置source
a1.sources.r1.type = exec
# source要执行的命令 监控的文件
a1.sources.r1.command = tail -F /opt/module/flume/demo/test1.log

# 设置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000

# 设置sink
a1.sinks.k1.type = hdfs
# 设置hdfs目录
a1.sinks.k1.hdfs.path = hdfs://hadoop01:8020/flume/logs/%Y-%m-%d/%H
# 设置启用本地时间戳，否则上面的时间序列无法使用
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# 设置按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 设置创建文件夹时间
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour

# 设置文件前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 设置文件滚动时间(秒)
a1.sinks.k1.hdfs.rollInterval = 60
# 设置文件滚动大小(字节) 约128M
a1.sinks.k1.hdfs.rollSize = 134217700
# 设置文件滚动需要的Event数量  0表示不启用
a1.sinks.k1.hdfs.rollCount = 0

# 设置Event刷新到hdfs数量
a1.sinks.k1.hdfs.batchSize = 100
# 设置存储文件类型，支持压缩
a1.sinks.k1.hdfs.fileType = DataStream

# 绑定source、channel、sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1