【Linux】CentOS下安装flume

一、Flume的安装

前提：已搭建好Hadoop

1 上传压缩包到虚拟机，解压

tar -zxvf apache-flume-1.7.0-bin.tar.gz

2 修改名字便于使用

mv apache-flume-1.7.0-bin flume

3 修改flume-env.sh文件：

进入flume安装目录下的conf目录，

cp flume-env.sh.template flume-env.sh
vim flume-env.sh

在里面配置JAVA_HOME

4 根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)

这里在flume的conf目录下新建一个文件：vim netcat-logger.conf

配置如下方案：

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 描述和配置sink组件：k1
a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5 指定采集方案配置文件，在相应的节点上启动flume agent去采集数据

./bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

    -c conf   指定flume自身的配置文件所在目录

    -f conf/netcat-logger.con  指定我们所描述的采集方案

    -n a1  指定我们这个agent的名字

6 测试

先要往agent采集监听的端口上发送数据，让agent有数据可采

随便在一个能跟agent节点联网的机器上（我这里就使用了本机，再建一个到本机的远程连接）

telnet anget-hostname port
例如：telnet localhost 44444

但我的虚拟机中还没有安装telnet

二、telnet的安装

1 检测telnet-server的rpm包是否安装

rpm -qa telnet-server

若无输出内容，则表示没有安装

2 若未安装，则安装telnet-server

yum install telnet-server

3 检测telnet的rpm包是否安装

rpm -qa telnet

若无输出内容，则表示没有安装

4 若未安装，则安装telnet

yum install telnet

5 重新启动xinetd守护进程

service xinetd restart

5 然后再次执行：telnet localhost 44444

然后就可以看到flume已经接收到了要收集的数据

如何退出telnet呢？？？

首先按ctrl+]退出到telnet > ，然后输入telnet> quit即可退出

 

 

参考：https://www.cnblogs.com/biehongli/p/8031403.html