1、需求:使用Flume监听整个目录的文件,并上传至HDFS
2、需求分析
- spooldir 主要做的对一个目录的采集
- 比如11月21日的(0点15-30分),采集11月20日的数据所在的目录,是离线采集的,采集完成之后把这个目录下的文件打一个标记 .COMPLETED
3、创建flume agent配置文件flume-dir-hdfs.conf
cd /data/flume/apache-flume
vim job/flume-dir-hdfs.conf
添加:
# Name the components on this agent
a3.sources = r3
a3.sinks = k3
a3.channels = c3
# Describe/configure the source
a3.sources.r3.type = spooldir
# 定义监控目录
a3.sources.r3.spoolDir = /data/mydata/upload
# 定义文件上传完的后缀
a3