flume安装及简单使用

Flume下载

Flume官网: http://flume.apache.org/download.html
百度云: https://pan.baidu.com/s/1oS5UvjO-aKsGFY2DaiWuhg（版本：1.9.0）
提取码：dp1b

Flume安装

上传安装包，使用以下命令解压：

tar -zxvf apache-flume-1.9.0-bin.tar.gz

重新命名解压文件为flume

mv apache-flume-1.9.0-bin.tar.gz flume

配置Flume

进入到flume安装目录下的conf文件夹中,拷贝重命名文件

cp flume-env.sh.template flume-env.sh

进入flume-env.sh文件中，添加JDK路径

为了能够在任意目录启动flume，我们需要配置环境变量。
进入到 /etc/profile 目录，添加相应的配置信息：

#flume1.9.0
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin

通过如下命令使得环境变量立即生效：

source /etc/profile

Flume一个简单的案例

进入到flume的conf下，创建一个conf 文件

vi example.conf

# example.conf: 单节点Flume配置

# 指定Agent的组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 指定配置源
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 指定sink
a1.sinks.k1.type = logger

# 使用在内存中缓冲事件的通道
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 绑定source和sink到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume

flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

参数说明：

参数	作用	举例
–conf 或 -c	指定配置文件夹，包含flume-env.sh和log4j的配置文件	–conf conf
–conf-file 或 -f	配置文件地址	–conf-file conf/flume.conf
–name 或 -n	agent名称	–name a1
-z	zookeeper连接字符串	-z zkhost:2181,zkhost1:2181
-p	zookeeper中的存储路径前缀	-p /flume