Flume使用之监听文件夹

Flume监听文件夹的Source要指定为Spooling Directory Source。

原理：

当监听文件夹有文件更新时，flume会将新文件输出到指定目录。源文件会被删除或者标记.COMPLETED后缀（后缀也可自定义），代表此文件已被输出完毕，不会再进行读取。如果文件夹内出现相同名字的文件，flume会抛出异常，此agent进程结束运行。

配置：

# 定义sources、channels、sinks
a1.sources = r1
a1.channels = c1
a1.sinks = k1

# 配置source  spooldir表示监听文件夹
a1.sources.r1.type = spooldir
# 指定监听文件夹路径
a1.sources.r1.spoolDir = /opt/module/flume/demo/spooldir
# 设置读取完毕的文件后缀 默认.COMPLETED
a1.sources.r1.fileSuffix = .COMPLETED

# 设置channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000

# 设置sink
a1.sinks.k1.type = hdfs
# 设置hdfs目录
a1.sinks.k1.hdfs.path = hdfs://hadoop01:8020/flume/logs/%Y-%m-%d/%H
# 设置启用本地时间戳，否则上面的时间序列无法使用
a1.sinks.k1.hdfs.useLocalTimeStamp = true

# 设置按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
# 设置创建文件夹时间
a1.sinks.k1.hdfs.roundValue = 1
# 重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour

# 设置文件前缀
a1.sinks.k1.hdfs.filePrefix = logs-
# 设置文件滚动时间(秒)
a1.sinks.k1.hdfs.rollInterval = 60
# 设置文件滚动大小(字节) 约128M
a1.sinks.k1.hdfs.rollSize = 134217700
# 设置文件滚动需要的Event数量  0表示不启用
a1.sinks.k1.hdfs.rollCount = 0

# 设置Event刷新到hdfs数量
a1.sinks.k1.hdfs.batchSize = 100
# 设置存储文件类型，支持压缩
a1.sinks.k1.hdfs.fileType = DataStream

# 绑定source、channel、sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1