一百七十一、Flume——Flume1.9.0单机版安装（亲测有效）

一、目的

以防万一，为了避免kettle从Kafka同步数据到HDFS有问题，因此也测试了用Flume去采集Kafka中的数据然后同步到HDFS，算是一套备用方案

二、安装包版本

（一）Hadoop版本

hadoop-3.1.3.tar.gz

（二）Flume版本

apache-flume-1.9.0-bin.tar.gz

链接：https://pan.baidu.com/s/1iXX87v4coH_49Ik84isuRw?pwd=8zuc 
提取码：8zuc

三、安装步骤

（一）打开安装包所在地

[root@hurys22 ~]# cd /opt/install/
[root@hurys22 install]# ls
apache-flume-1.9.0-bin.tar.gz  hadoop-3.1.3.tar.gz     kafka_2.13-3.0.0.tgz           

（二）解压安装包

[root@hurys22 install]# tar -zxf apache-flume-1.9.0-bin.tar.gz  -C /opt/soft
[root@hurys22 install]# cd /opt/soft/
[root@hurys22 soft]# ls
apache-flume-1.9.0-bin  hadoop313  hbase205  hive312  kafka213

（三）重命名

[root@hurys22 soft]# mv apache-flume-1.9.0-bin   flume190
[root@hurys22 soft]# ls
flume190  hadoop313  hbase205  hive312  kafka213

（四）将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3

[root@hurys22 soft]# cd ./flume190/lib/
[root@hurys22 lib]# rm -rf guava-11.0.2.jar

（五）在conf中复制配置文件flume-env.sh.template

[root@hurys22 lib]# cd /opt/soft/flume190/conf/
[root@hurys22 conf]# ls
flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties
[root@hurys22 conf]# cp flume-env.sh.template  flume-env.sh
[root@hurys22 conf]# ls
flume-conf.properties.template  flume-env.ps1.template  flume-env.sh  flume-env.sh.template  log4j.properties

（六）修改配置文件  flume-env.sh

查看jdk安装路径
[root@hurys22 ~]# echo $JAVA_HOME
/usr/local/java

[root@hurys22 conf]# vi  flume-env.sh

     20 # Enviroment variables can be set here.
     21 
     22   export JAVA_HOME=/usr/local/java

     24 # Give Flume more memory and pre-allocate, enable remote monitoring via JMX
     25    export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"  

   Xms8000m意思是：虚拟机内存设置8G，  Xmx8000m意思是：一开始启动就动用最大内存8G

（七）测试一下

1、在第一个窗口

[root@hurys22 conf]# yum install -y nc

//测试一下，两个窗口的聊天
先在第一个窗口，登录监视窗口
[root@hurys22 conf]# nc -lk  44444

2、在第二个窗口

[root@hurys22 ~]# cd /opt/soft/flume190/conf/
[root@hurys22 conf]# yum install telnet-server
[root@hurys22 conf]# yum install telnet.*
Complete!
//测试端口  开启聊天窗口
[root@hurys22 conf]# telnet localhost 44444

3、这样，就可以聊天了

在第二个窗口，输入  hello java 
第一个窗口就会收到  hello java

在第一个窗口Ctrl+C 
注意，两个窗口同时退出登录

总的来说，相比于Hadoop、Hive等工具的安装，Flume的安装还是挺简单的