Flume安装使用

Flume官方提供Flume的原理图

Flume安装
1.将Flume解压到/cloud目录下

tar -zxvf apache-flume-1.4.0-bin.tar.gz -C /cloud

2.配置文件

手动编写一个配置文件（a3.conf）格式如下

#定义agent名， source、channel、sink的名称
a3.sources = r1
a3.channels = c1
a3.sinks = k1

#具体定义source
a3.sources.r1.type = spooldir
a3.sources.r1.spoolDir = /root/logs

#具体定义channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

#具体定义sink
a3.sinks.k1.type = logger

#组装source、channel、sink
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

配置HDFS Sink时首先需要将$HADOOP_HOME/hadoop-core-1.0.4.jar和$HADOOP_HOME/lib/commons-configuration-1.6.jar拷贝到$FLUME_HOME/lib/下

启动命令格式：

启动命令：
bin/flume-ng agent -n a3 -c conf/ -f conf/a4.conf -Dflume.root.logger=INFO,console