Flume从脱机目录（Spooldir）获取文件到HDFS

Source为本地的 /flume/weblogs_spooldir，里面存储有大量的log文件。

Channel为memory。

Sink为HDFS，设置为文件大小滚动。

 

配置文件（configuration）：

agent.sources = source_spool
agent.sinks = sink_hdfs
agent.channels = channel_memory

agent.sources.source_spool.type = spooldir
agent.sources.source_spool.spoolDir = /flume/weblogs_spooldir
agent.sources.source_spool.channels = channel_memory
#注意这里sources的channel是需要加s的，channels

agent.sinks.sink_hdfs.type = hdfs
#文件存储到hdfs的位置，这里设置为/loudacre/weblogs下面
agent.sinks.sink_hdfs.hdfs.path = /loudacre/weblogs
agent.sinks.sink_hdfs.hdfs.rollInterval = 0
agent.sinks.sink_hdfs.hdfs.rollCount = 0
agent.sinks.sink_hdfs.hdfs.rollSize = 524288
#通过设定hdfs.fileType为DataStream来写原始文本文件[row text file]（而不是SequenceFile格式文件）
agent.sinks.sink_hdfs.hdfs.fileType = DataStream
agent.sinks.sink_hdfs.channel = channel_memory


agen