Flume安装

安装包及测试文件
提取码: ktc2

一、安装Flume

1.压缩包拉入opt目录中

2.解压flume到opt

tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz

3.重命名flume

mv apache-flume-1.6.0-cdh5.14.0-bin/ flume

4.切换到flume的conf

cd flume/conf

5.拷贝一份flume-env.sh.template，重命名为flume-env.sh

cp flume-env.sh.template flume-env.sh

6.修改flume-env.sh

//修改JAVA_HOME
export JAVA_HOME=/opt/jdk1.8.0_221

//将#去掉，修改内存为2G
export JAVA_OPTS="-Xms2000m -Xmx2000m -Dcom.sun.management.jmxremote"

如图所示：

7.验证安装

切换到bin目录
./flume-ng version

二、安装nc

全称NetCat   俗称 “瑞士军刀”

yum install -y nc

三、安装telnet

yum list telnet*
yum install -y telnet-server.*
yum install -y telnet.*

测试

//另开一个session启动server  后面端口号为自定义
nc -lk 7777
另开一个session启动client  
telnet localhost 7777

四、案例

首先，在conf目录创建job

mkdir job

案例1：端口到控制台

在job中创建netcat-flume-logger.conf

cd job
vi netcat-flume-logger.conf

//编辑如下内容  a1为agent名称
a1.sources=r1
a1.channels=c1
a1.sinks=s1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=7777

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels