Flume配置案例——exec_mem_logger.conf

实验内容

Source为exec类型，搭配Channel的memory或file类型，Sink的logger或hdfs类型进行Flume配置实验，如下图所示：

系统环境

Linux Ubuntu 14.04
jdk-7u75-linux-x64
hadoop-2.6.0-cdh5.4.5
flume-ng-1.5.0-cdh5.4.5
zookeeper-3.4.5-cdh5.4.5

实验步骤

1、创建测试文件

mkdir /data/flume
cd /data/flume
touch items
vim items

插入部分数据到items中：

2、创建Flume配置文件，名为：exec_mem_logger.conf，使用vim编辑conf文件，

cd /apps/flume/conf
cp ./flume-conf.properties.template ./exec_mem_logger.conf
vim exec_mem_logger.conf

添加如下内容：

#定义各个组件
agent1.sources  = src
agent1.channels = ch
agent1.sinks    = des

#配置source
agent1.sources.src.type = exec
agent1.sources.src.command = head -n 10 /data/flume/items

#配置channel
agent1.channels.ch.type = memory

#配置sink
agent1.sinks.des.type = logger

##下面是把上面设置的组件关联起来（把点用线连起来）
agent1.sources.src.channels = ch
agent1.sinks.des.channel    = ch

3、启动Flume,

flume-ng  agent -c /conf -f /apps/flume/conf/exec_mem_logger.conf -n agent1  -D flume.root.logger=BEBUG,console

参数说明：# source:exec、channel:memory、 sink:logger
-c 配置文件存放的目录
-f 所使用的配置文件路径
-n agent的名称