flume安装
官网:
http://flume.apache.org/
安装包下载:
http://www.apache.org/dyn/closer.cgi/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz
解压:
tar xzvf apache-flume-1.5.0-bin.tar.gz
*注:本猿解压的目录是apche/flume/
配置java
在文件conf/flume-env.sh中设置java环境变量
JAVA_HOME=/usr/lib/jvm/java-7-oracle
*注:当然需要java安装在这个目录
验证是否安装成功
flume-1.5.0-bin/bin/flume-ng version
添加环境变量(方便使用)
export FLUME_HOME=/soft/apache/flume/apache-flume-1.5.0-bin
export PATH=$PATH:$FLUME_HOME/bin
*注:使用vi ~/.bashrc 将上面两行添加到最后
*注:. ~/.bashrc或者source ~/.bashrc理解生效
***************************************************************************************************************
Avro案例:
环境:
两台pc均安装flume(这里可以使用一台机器看效果,标注两台好理解一些)
假定ip分别为172.17.0.2、172.17.0.3
1.在172.17.0.2上添加agent a1配置文件flume-1.5.0-bin/conf/avro.conf
内容:
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.bind = 172.17.0.2
a1.sources.r1.port = 4141
a1.sources.r1.type = avro
a1.sinks.k1.type = logger
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.channels.c1.type = memory
2.在172.17.0.2上启动agent a1
flume-ng agent -c . -f $FLUME_HOME/conf/avro.conf -Dflume.root.logger=INFO,console -n a1
3.在172.17.0.3使用avro-client发送文件(log.00是自己随意构造的文件)
flume-ng avro-client -c . -H 172.17.0.2 -p 4141 -F log.00
4.可以在172.17.0.2的控制台看到log.00的内容