Flume之Spooling Directory的Source

使用场景

此种source类型的使用场景，通常用于某些业务需要在24小时之后处理数据或数据会固定的形成一个文件传输到某文件夹中的业务场景所使用的source类型。

实例：监听一个文件夹

配置说明

配置项	描述
channels	缓存区
type	需要指定为"spooldir"
spoolDir	指定文件夹

实现步骤：

1. 配置信息：job路径下创建spooldir.logger.conf并做如下配置

a1.sources=r1
a1.channels=c1
a1.sinks=s1
# 描述/配置a1的source
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/home/data #注： spoolDir必须严格区分大小写，否则会报错，提示找不到目录。
# 描述/配置a1的channel
a1.channels.c1.type=memory
# 描述/配置a1的sink
a1.sinks.s1.type=logger
# 绑定
a1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

在启动之前需要先确保相关的目录（/home/data）存在，若目录不存在，则启动报错。

2. 启动flume：./bin/flume-ng agent -n a1 -c ./conf/ -f ./job/spooldir.logger.conf -Dflume.root.logger=INFO,console
   
   

3. 打开另一台虚拟机远程登录登录 (ssh test) flume的虚拟机拷贝问价到/home/data下：cp test.txt /home/

4. 查看测试结果