Flume采集目录到hdfs中

在Flume的conf文件夹中创建一个spool-hdfs.conf文件

使用vi spool-hdfs.conf输入数据

#Named
a1.sources = r1
a1.channels = c1
a1.sinks = k1

# Describe/configure the source
#注意:不能往监控目中重复丢同名文件
a1.sources.r1.type = spooldir
# 需要监控的目录
a1.sources.r1.spoolDir = /root/logs
a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/
a1.sinks.k1.hdfs.filePrefix = xueai-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.rolllnterval = 3
a1.sinks.k1.hdfs.rollSize = 20
a1.sinks.k1.hdfs.rollCount = 5
a1.sinks.k1.hdfs.batchSize = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs,fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

案例解析：

roll控制写入hdfs文件，以何种方式进行滚动
a1.sinks.k1.hdfs.rolllnterval = 3	以时间间隔
a1.sinks.k1.hdfs.rollSize = 20		以文件大小
a1.sinks.k1.hdfs.rollCount = 5		以event个数
如果三个都配置  谁先满足谁触发滚动
如果不想以某种属性滚动  设置为0即可

是否开启时间上的舍弃  控制文件夹以多少时间间隔滚动
以下述为例：就会每10分钟生成一个文件夹
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute

        

spooldir source

• 注意其监控的文件夹下面不能有同名的文件产生。

• 如果有 报错且罢工 后续就不在进行数据的监视采集

• 在企业中通常给文件追加时间戳命名的方式保证文件不会命名

启动（我这里使用的是绝对路径，因为环境变量没设置可以用）

flume-ng agent -c /home/hduser/bigdata/flume-1.7.0/conf -f /home/hduser/bigdata/flume-1.7.0/jobs/spool-hdfs.conf -n a1 -Dflume.root.logger=INFO,console