【Flume】使用Flume监控目录,并将数据存储至HDFS

conf文件

# 定义source、sinks、channels并且重命名
a1.sources = k1
a1.sinks = r1
a1.channels = c1

# 选择sources方法为spooldir来监控文件夹
a1.sources.k1.type = spooldir
# 确定监控的文件夹
a1.sources.k1.spoolDir=/home/data/flume
# 当文件背上传之后添加后缀
a1.sources.k1.fileSuffix = .COMPLETED
# 有头文件
a1.sources.k1.fileHeader = true
# 忽略tmp结尾的文件
a1.sources.k1.ignorePattern = ([^ ]*\.tmp)


# 选择channels类型
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#选择sinks类型
a1.sinks.r1.type = hdfs
# 输出文件的路径，其中%Y-%m-%d表示按照日期年-月-日创建文件夹
a1.sinks.r1.hdfs.path = hdfs://d:9000/flume/%Y-%m-%d/%H
# 输出的文件的前缀是log-
a1.sinks.r1.hdfs.filePrefix = event
# 输出的文件的后缀是.event
a1.sinks.r1.hdfs.fileSuffix = log
# 输出文件的文件类型是DataStream
a1.sinks.r1.hdfs.fileType = DataStream
# 使用时间戳
a1.sinks.r1.hdfs.useLocalTimeStamp = true
# 每次读取1000个事件
a1.sinks.r1.hdfs.batchSize = 1000
# 是否按照事件滚动文件夹
a1.sinks.r1.hdfs.round = true
# 多少时间单位创建一个新的文件夹
a1.sinks.r1.hdfs.roundValue = 1
# 时间单位是
a1.sinks.r1.hdfs.roundUnit = hour
# 多久生成一个新文件
a1.sinks.r1.hdfs.rollInterval = 600
# 每个文件的滚动大小
a1.sinks.r1.hdfs.rollSize = 134217700
# 文件滚动和event数量无关
a1.sinks.r1.hdfs.rollCount = 0
# 最小冗余数
a1.sinks.r1.hdfs.minBlockReplicas = 1

# 将sources、sinks、channels进行绑定
a1.sinks.r1.channel = c1
a1.sources.k1.channels = c1

开启：/home/flume/bin/flume-ng agent --name a1 --conf conf --conf-file /home/job/flume-dir-hdfs.conf -Dflume.root.logger=INFO,console

本来就存在的文件，已经被上传
生成一个文件
echo '1' > flume/log001

生成一个tmp结尾的文件
echo '1' > flume/log.tmp

进入被监控的文件查看

发现前俩个文件的后缀已经被改，但是最后一个不变

hdfs上的目录是日期，前缀后缀已经改变