flume 安装部署入门

flume 安装部署

环境
centos：7.2
JDK:1.8
Flume:1.9

安装

下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

解压

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /home/hadoop/app/

设置环境变量

vi /etc/profile
##添加
export FLUME_HOME=/home/hadoop/app/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin
##刷新生效
source /etc/profile
##查看变量
echo $FLUME_HOME
/home/hadoop/app/apache-flume-1.9.0-bin

配置JAVA_HOME

cp flume-env.sh.template flume-env.sh
vi flume-env.sh
##添加
export JAVA_HOME="/opt/modules/jdk1.8.0_161"
export PATH=$JAV{A}_{H}OME/bin:$PATH

验证安装完成

系统要求

1.Java运行时环境 - Java 1.8或更高版本
2.内存 - 源，通道或接收器使用的配置的足够内存
3.磁盘空间 - 通道或接收器使用的配置的足够磁盘空间
4.目录权限 - 代理使用的目录的读/写权限

配置agent 文件

＃命名此agent上的组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1

＃描述/配置 source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

＃描述sink
a1.sinks.k1.type = logger

＃使用缓冲内存中事件的 channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

＃将source和sink绑定到channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动agent

./flume-ng agent --conf conf --conf-file /home/hadoop/app/apache-flume-1.9.0-bin/conf/flume-conf.properties --name a1 -Dflume.root.logger = INFO,console

测试

发送

接受