上传并解压安装包到数据源所在节点上
上传
解压
tar -zxvf ./apache-flume-1.8.0-bin.tar.gz -C …/servers/
修改配置文件
进入flume下的的conf目录
cd /export/servers/apache-flume-1.8.0-bin/conf/
在这里插入图片描述
拷贝文件
cp flume-env.sh.template flume-env.sh
1
修改配置文件(在flume-env.sh文件中配置JAVA_HOME)
vi ./flume-env.sh
export JAVA_HOME=java安装包路径
配置全局环境
创建配置文件
vi /etc/profile.d/flume.sh
配置环境
export FLUME_HOME=flume的安装路径
export PATH=
P
A
T
H
:
PATH:
PATH:FLUME_HOME/bin
使环境生效
source /etc/profile
查看版本
flume-ng version
在flume的conf目录下新建文件(开始部署)
新建文件
vi netcat-logger.conf
添加配置
capacity:默认该通道中最大的可以存储的event数量
trasactionCapacity:每次最大可以从source中拿到或者送到sink中的event
启动agent采集数据
格式:
flume-ng agent -c conf -f netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf:指定flume自身的配置文件所在目录
-f conf/netcat-logger.con: 指定我们所描述的采集方案
-n a1: 指定我们这个agent的名字(自己在配置文件中定义的名字)
测试
安装 telnet服务(在能与agent节点联网的机器上安装)
yum install -y telnet 安装 telnet服务
进入telnet窗口
telnet agent节点的ip地址 agent节点定义的端口
Escape character is ‘^]’.只是一个提示,提示你使用Ctrl键+]键可以呼出telnet的命令行