flume常用采集静态文件配置

最新推荐文章于 2022-09-26 19:55:36 发布

Bonnie*~*

最新推荐文章于 2022-09-26 19:55:36 发布

阅读量362

点赞数

本文链接：https://blog.csdn.net/weixin_45581304/article/details/102576444

版权

本文介绍了使用Flume进行静态文件和实时日志采集的配置过程。配置包括设置source来监听指定目录，如'/root/log/'，使用Spooldir Source；以及配置sink将数据存储到HDFS，如'hdfs://hdp-1:9000/access_log'，采用HDFS Sink。同时详细说明了不同参数的作用，如rollSize、rollCount和rollInterval等，确保数据处理的高效与可靠。

摘要由CSDN通过智能技术生成

在flume/bin 下 vi dir-hdfs.conf 写配置文件，作用是监听log文件夹

flume的配置文件如下:

#spooldir：flume中自带的读取目录的source，只要出现新文件就会被读走
#定义三大组件的名称
ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1

# 配置source组件
ag1.sources.source1.type = spooldir
ag1.sources.source1.spoolDir = /root/log/
ag1.sources.source1.fileSuffix=.FINISHED
ag1.sources.source1.deserializer.maxLineLength=5129

# 配置sink组件把读到的文件存放到哪个地方
ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path =hdfs://hdp-1:9000/access_log/%y-%m-%d/%H-%M
ag1.sinks.sink1.hdfs.filePrefix = app_log
ag1.sinks.sink1.hdfs.fileSuffix = .log
ag1.sinks.sink1.hdfs.batchSize= 100
ag1.sinks.sink1.hdfs.fileType = DataStream
ag1.sinks.sink1.hdfs.writeForma