Flume采集配置案例一:采集目录中的新文件到HDFS中

1 案例需求

使用flume监听整个目录的文件，实时地将/opt/module/flume-1.7.0/logs目录中的文件采集到HDFS中去

2 需求分析

           

3 实现步骤

3.1 创建并配置文件dir-hdfs.conf

配置文件属性配置参考官方文档：http://flume.apache.org/FlumeUserGuide.html

[caimh@master-node flume-1.7.0]$ mkdir job
[caimh@master-node flume-1.7.0]$ cd job/
[caimh@master-node job]$ vim dir-hdfs.conf
#定义三大组件的名称
ag1.sources = source1
ag1.sinks = sink1
ag1.channels = channel1

# 配置source组件
ag1.sources.source1.type = spooldir
ag1.sources.source1.spoolDir = /opt/module/flume-1.7.0/logs
##定义文件上传完后的后缀,默认是.COMPLETED
ag1.sources.source1.fileSuffix=.FINISHED
##默认是2048,如果文件行数据量超过2048字节(1k),会被截断，导致数据丢失
ag1.sources.source1.deserializer.maxLineLength=5120

# 配置sink组件
ag1.sinks.sink1.type = hdfs
ag1.sinks.sink1.hdfs.path =hdfs://master-node:9000/access_log/%y-%m-%d/%H-%M
#上传文件的前缀
ag1.sinks.sink1.hdfs.filePrefix = app_log
#上传文件的后缀
ag1.sinks.sink1.hdfs.fileSuffix = .log
#积攒多少个Event才flush到HDFS一次
ag1.sinks.sink1.hdfs.batchSize= 100
ag1.sinks.sink1.hdfs.fileType = DataStream
ag1.sinks.sink1.hdfs.writeFormat =Text

## roll：滚动切换：控制写文件的切换规则
## 按文件体积（字节）来切
ag1.sinks.sink1.hdfs.rollSize = 512000
## 按event条数切   
ag1.sinks.sink1.hdfs.rollCount = 1000000
## 按时间间隔切换文件，多久生成一个新的文件
ag1.sinks.sink1.hdfs.rollInterval = 60

## 控制生成目录的规则
ag1.sinks.sink1.hdfs.round = true
##多少时间单位创建一个新的文件夹
ag1.sinks.sink1.hdfs.roundValue = 10
ag1.sinks.sink1.hdfs.roundUnit = minute

#是否使用本地时间戳
ag1.sinks.sink1.hdfs.useLocalTimeStamp = true

# channel组件配置
ag1.channels.channel1.type = memory
## event条数
ag1.channels.channel1.capacity = 500000
##flume事务控制所需要的缓存容量600条event
ag1.channels.channel1.transactionCapacity = 600

# 绑定source、channel和sink之间的连接
ag1.sources.source1.channels = channel1
ag1.sinks.sink1.channel = channel1

3.2 启动监控文件夹命令

(1）测试阶段，启动flume agent的命令如下

[caimh@master-node flume-1.7.0]$ bin/flume-ng agent -c conf/ -n ag1 -f job/dir-hdfs.conf -Dflume.root.logger=info,console

-D后面跟的是log4j的参数，用于测试观察（输出到控制台）

(2）生产中，启动flume agent，应该把flume启动在后台

[caimh@master-node flume-1.7.0]$ nohup bin/flume-ng agent -c conf/ -n ag1 -f job/dir-hdfs.conf 1>/dev/null 2>&1 &

说明： 在使用Spooling Directory Source时

      a.不要在监控目录中创建并持续修改文件

      b.上传完成的文件会以.FINISHED(默认.COMPLETED)结尾

      c.被监控文件夹每600毫秒扫描一次文件变动

3.3 向之前创建/opt/module/flume-1.7.0/logs文件夹中添加文件

[caimh@master-node logs]$ echo hello world >>a.txt
[caimh@master-node flume-1.7.0]$ ll logs/
总用量 4
-rw-rw-r--. 1 caimh caimh 12 10月  9 09:29 a.txt.FINISHED

3.4 查看HDFS上的数据