Fluem 数据集成

1.监控 一个目录，将数据打印出来
创建 spoolingtest.conf

a： 代表agent的名称

type=spooldir ； 监控一个目录，只要目录中有新的文件就会被取过来，不能出现文件名一样的文件

a.sources = r1
a.sinks = k1
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = spooldir
a.sources.r1.spoolDir = /usr/local/soft/data
a.sources.r1.fileHeader = true
a.sources.r1.interceptors = i1
a.sources.r1.interceptors.i1.type = timestamp
#指定sink的类型
a.sinks.k1.type = logger
#指定channel
a.channels.c1.type = memory
a.channels.c1.capacity = 1000
a.channels.c1.transactionCapacity = 100
#组装
a.sources.r1.channels = c1
a.sinks.k1.channel = c1
启动agent
flume-ng agent -n a -f ./spoolingtest.conf -Dflume.root.logger=DEBUG,console

2、监控目录将数据保存到hdfs

a.sources = r1
a.sinks = k1
a.channels = c1