Flume安装部署

一、下载Flume

获取Flume1.8的安装部署文件，通过互联网下载flume：
http://flume.apache.org/
http://archive.apache.org/dist/flume/
http://archive.apache.org/dist/flume/1.8.0/
 

二、解压安装包到opt

启动远程终端，拷贝apache-flume-1.8.0-bin.tar.gz文件到master节点的/home目录下

解压缩到/opt目录下：

tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/

 

 三、开始配置Flume环境

复制/opt/apache-flume-1.8.0-bin/conf目录下的flume-env.sh.template为：flume-env.sh

使用命令：

cp flume-env.sh.template flume-env.sh

然后编辑flume-env.sh，在里面配置JAVA_HOME

vi flume-env.sh

然后将#注释去掉，加上自己的JAVA_HOME：
 

export JAVA_HOME=/opt/jdk=1.8.0_171/

 

vi netcat-logger.conf

 

 

这里是一个简单的采集方案配置的使用，从网络端口接收数据，然后下沉到logger需要配置一个文件，这个采集配置文件名称，netcat-logger.conf，在该文件中输入以下代码：
 

#定义这个agent中各组件的名字，给那三个组件sources，sinks，channels取个名字,是一个逻辑代号:
#a1是agent的代表。
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#type是类型，是采集源的具体实现，这里是接受网络端口的，netcat可以从一个网络端口接受数据的。
#bind绑定本机10.244.2.223。port端口号为444。（注意，这里的主机ip地址和端口要根据实际的主机进行修改）
a1.sources.r1.type = netcat
a1.sources.r1.bind = 10.244.2.223
a1.sources.r1.port = 444
#type，下沉类型，使用logger，将数据打印到屏幕上面。
a1.sinks.k1.type = logger
#type类型是内存memory。
#capacity：默认该通道中最大的可以存储的event数量，1000是代表1000条数据。
#trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量。
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
#将sources和sinks绑定到channel上面。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

四、在windows客户机上准备telnet环境

通过window的telnet功能测试：
开始->控制面板->程序->启用或关闭windows功能：

 确定后，点击关闭，完成设置

五、启动Flume，开始监听telnet发送消息

开启终端并连接服务器，然后进入：/opt/apache-flume-1.8.0-bin目录下

cd /opt/apache-flume-1.8.0-bin

运行命令：
 

bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

 

 

六、内容展示

启动windows的命令行工具，通过telnet向Flume服务器发送消息：
win+R->cmd输入以下代码：

telnet 192.168.41.110 444

敲回车后可以看到已经进入telnet界面：

 

在通过windows的telnet向Flume传输消息后，可以看到输出的内容：
window发送的消息：

 

Flume接收到的消息：

 

实验完成！