Flume安装配置及测试

1)vi /etc/profile

export FLUME_HOME=/usr/local/src/flume

export PATH=$PATH:$FLUME_HOME/bin

source /etc/profile

 

2)cd ../conf

cp flume-env.sh.template flume-env.sh

export JAVA_HOME=/usr/local/src/jdk

 

source /etc/profile.d/my_env.sh

 

vi log(tab)

将第53行引号内的内容（log~）换成Console

 

3)fluma采集测试

1.在flume下创建一个logs目录

mkdir logs

 

2.vi flume-logger.conf

 

# Name the components on this agent

（# 定义这个agent中各组件的名字）

（# a1是agent的名称

# r1是source的名称

# k1是sink的名称

# c1是channel的名称）

a1.sources=r1

a1.sinks=k1

a1.channels=c1

 

# Describe/configure the source（描述和配置source组件）

a1.sources.r1.type=netcat

a1.sources.r1.bind（绑定主机）=master

a1.sources.r1.port=44444

 

# Describe the sink

（描述和配置sink组件）

a1.sinks.k1.type=logger

 

# Use a channel which buffers events in memory

（ 描述和配置channel组件，此处使用是内存缓存的方式）

a1.channels.c1.type=memory

a1.channels.c1.capacity（容量）=1000

a1.channels.c1.transactionCapacity（发送数据）=100

 

# Bind the source and sink to the channel（绑定，描述和配置source channel sink之间的连接关系）

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

 

3.启动

flume-ng agent -n a1 -c conf -f logs/flume-logger.conf -Dflume.root.logger=INFO,console

（-c conf 指定flume自身的配置文件所在目录

-f conf/netcat-logger.con 指定我们所描述的采集方案

-n a1 指定我们这个agent的名字）

4.安装nc写数据

yum install nc（若是提示bash：not commnd nc在下载）

 

5.监控44444窗口（slave1）

nc master 44444