Flume组件配置

为什么80%的码农都做不了架构师？>>>   

安装好CDH之后，flume就可以通过简单的配置，作为服务在后台运行了。但是要让flume真正为我所用，还是需要根据业务场景，写出有针对性地配置文件才行。

换句话说，flume作为服务在后台运行，它什么都能干，只要你说清楚需要它干什么。你把你需要flume干的事情，写成标准格式的配置文件，flume就能干活了。

所以，我们把flume应用分成3步：

1. 理解你的应用场景
2. 写出具体的配置文件
3. 执行你的配置文件

为了说明以上问题，我们做一个案例。

1. 理解你的应用场景 假设用户会不定期产生一些数据文件，然后希望能够及时在hdfs系统里看到这些文件。 对于这样的业务场景，我们按照输入、渠道、输出进行分析。其中，输入是数据文件；渠道没有特殊要求，直通即可；输出是hdfs。 分析结束，我们就可以知道采用哪些组件来配合工作了。输入我们可以采用Spooling Directory Source；渠道我们可以选择Memory或者File；输出我们可以选择HDFS Sink

2. 写出具体的配置文件

#filename :  example.conf
# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /data/tmp
a1.sources.r1.fileHeader= true

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path=/user/history/
a1.sinks.k1.hdfs.filePrefix=mac-
a1.sinks.k1.hdfs.fileSuffix=.txt
# 这个参数很重要。当事件的大小超过256M，才拆分，否则就作为1个文件 。
# 这种做法，避免将一个文件拆分成一条条。
a1.sinks.k1.hdfs.rollSize=267386880
a1.sinks.k1.hdfs.rollCount=0
# 文件的类型选择DataStream，则文件格式保持原样
a1.sinks.k1.hdfs.fileType=DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3. 执行你的配置文件.记得在flume agent服务所在节点上运行

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera 
flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

4. 检查HDFS上，文件是否生成。

转载于:https://my.oschina.net/pearma/blog/843476