Flume安装部署

上传并解压安装包到数据源所在节点上

上传

解压

tar -zxvf ./apache-flume-1.8.0-bin.tar.gz -C ../servers/

修改配置文件

进入flume下的的conf目录

cd /export/servers/apache-flume-1.8.0-bin/conf/

拷贝文件

cp flume-env.sh.template flume-env.sh

修改配置文件（在flume-env.sh文件中配置JAVA_HOME）

vi ./flume-env.sh
export  JAVA_HOME=java安装包路径

配置全局环境

创建配置文件

 vi /etc/profile.d/flume.sh

配置环境

export FLUME_HOME=flume的安装路径
export PATH=$PATH:$FLUME_HOME/bin

使环境生效

source /etc/profile

查看版本

 flume-ng version

在flume的conf目录下新建文件（开始部署）

新建文件

vi   netcat-logger.conf

添加配置

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.100.200
a1.sources.r1.port = 44444
 
# 描述和配置sink组件：k1
a1.sinks.k1.type = logger
 
# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
 
# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

capacity：默认该通道中最大的可以存储的event数量
trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event

启动agent采集数据

格式：

flume-ng agent -c conf -f netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

-c conf：指定flume自身的配置文件所在目录
-f conf/netcat-logger.con： 指定我们所描述的采集方案
-n a1： 指定我们这个agent的名字（自己在配置文件中定义的名字）

测试

安装 telnet服务（在能与agent节点联网的机器上安装）

yum install -y telnet		安装 telnet服务

进入telnet窗口

telnet agent节点的ip地址  agent节点定义的端口

Escape character is ‘^]’.只是一个提示，提示你使用Ctrl键+]键可以呼出telnet的命令行