Source为本地的 /flume/weblogs_spooldir,里面存储有大量的log文件。
Channel为memory。
Sink为HDFS,设置为文件大小滚动。
配置文件(configuration):
agent.sources = source_spool
agent.sinks = sink_hdfs
agent.channels = channel_memory
agent.sources.source_spool.type = spooldir
agent.sources.source_spool.spoolDir = /flume/weblogs_spooldir
agent.sources.source_spool.channels = channel_memory
#注意这里sources的channel是需要加s的,channels
agent.sinks.sink_hdfs.type = hdfs
#文件存储到hdfs的位置,这里设置为/loudacre/weblogs下面
agent.sinks.sink_hdfs.hdfs.path = /loudacre/weblogs
agent.sinks.sink_hdfs.hdfs.rollInterval = 0
agent.sinks.sink_hdfs.hdfs.rollCount = 0
agent.sinks.sink_hdfs.hdfs.rollSize = 524288
#通过设定hdfs.fileType为DataStream来写原始文本文件[row text file](而不是SequenceFile格式文件)
agent.sinks.sink_hdfs.hdfs.fileType = DataStream
agent.sinks.sink_hdfs.channel = channel_memory
agen