flume 安装部署
环境
centos:7.2
JDK:1.8
Flume:1.9
安装
下载
wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
解压
tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /home/hadoop/app/
设置环境变量
vi /etc/profile
##添加
export FLUME_HOME=/home/hadoop/app/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin
##刷新生效
source /etc/profile
##查看变量
echo $FLUME_HOME
/home/hadoop/app/apache-flume-1.9.0-bin
配置JAVA_HOME
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
##添加
export JAVA_HOME="/opt/modules/jdk1.8.0_161"
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:PATH
验证安装完成
系统要求
1.Java运行时环境 - Java 1.8或更高版本
2.内存 - 源,通道或接收器使用的配置的足够内存
3.磁盘空间 - 通道或接收器使用的配置的足够磁盘空间
4.目录权限 - 代理使用的目录的读/写权限
配置agent 文件
#命名此agent上的组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#描述/配置 source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#描述sink
a1.sinks.k1.type = logger
#使用缓冲内存中事件的 channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
#将source和sink绑定到channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
启动agent
./flume-ng agent --conf conf --conf-file /home/hadoop/app/apache-flume-1.9.0-bin/conf/flume-conf.properties --name a1 -Dflume.root.logger = INFO,console
测试
发送
接受