flume常用采集静态文件配置

#定义三大组件的名称
########采集静态文件
#启动命令
bin/flume-ng agent -c conf/ -f dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console 将日志打印在控制台，实际情况中将其放入黑洞中

配置如下：

ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1

# 配置source组件
ag1.sources.source1.type = spooldir     #spooldir是flume中自带的读目录的一种source，它的行为特点是只要目录中有新的文件就会帮你读走
ag1.sources.source1.spoolDir = /root/log/    #具体读的目录
ag1.sources.source1.fileSuffix=.FINISHED      #文件被读取完毕后的文件后缀
ag1.sources.source1.deserializer.maxLineLength=5120

# 配置sink组件
ag1.sinks.sink1.type = hdfs       #采到hdfs中
ag1.sinks.sink1.hdfs.path =hdfs://hdp-1:9000/access_log/%y-%m-%d/%H-%M
ag1.sinks.sink1.hdfs.filePrefix = app_log      #切出的文件加app_log这样的前缀
ag1.sinks.sink1.hdfs.fileSuffix = .log         #切出的文件加app_log这样的后缀  如：app_log.1563695834065.log
ag1.sinks.sink1.hdfs.batchSize= 100            #100数据刷新一次hdfs
ag1.sinks.sink1.hdfs.fileType = DataStream    #往hdfs中写文件的类型为DataStream
ag1.sinks.sink1.hdfs.writeFormat =Text        #写到hdfs为Text,fileType与writeFormat搭配使用

## roll：滚动切换：控制写文件所生成的文件的切换规则。这三个那个满足就会执行哪个，如果指定用哪一个的话，其他两个等于0即可！！！切记不可以给其他两条注释，不然滚动文件不准
## 按文件体积（字节）来切，512000相当于500K
ag1.sinks.sink1.hdfs.rollSize = 512000 
## 按event条数切 ，1000000相当于1000000条数据切换一次文件
ag1.sinks.sink1.hdfs.rollCount = 1000000
## 按时间间隔切换文件，60相当于60秒
ag1.sinks.sink1.hdfs.rollInterval = 60

## 控制生成目录的规则
ag1.sinks.sink1.hdfs.round = true  #要不要切，要
ag1.sinks.sink1.hdfs.roundValue = 10      #多久切一次
ag1.sinks.sink1.hdfs.roundUnit = minute     #十分钟切一次

ag1.sinks.sink1.hdfs.useLocalTimeStamp = true   #使用本地时间戳来取时间，就可以把/%y-%m-%d/%H-%M时间替换掉

# channel组件配置
ag1.channels.channel1.type = memory
## event条数
ag1.channels.channel1.capacity = 500000
##flume事务控制所需要的缓存容量600条event
ag1.channels.channel1.transactionCapacity = 600

# 绑定source、channel和sink之间的连接
ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1

启动命令：

[             ]# bin/flume-ng agent -c conf/ -f dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console
将日志打印在前台，实际过程放在黑洞