跟我学搭建集群(四）

配置flume

前提：在master01中先操作以下步骤。

1.将flume压缩包放到路径/opt/download/spark

2.解压到路径/opt/software/spark。当前路径为/opt/download/hadoop

//解压flume
tar -zxf apache-flume-1.9.0-bin.tar.gz -C /opt/software/spark

3.切换路径到/opt/software/spark ，并将解压过后的apache-flume-1.9.0-bin命名为flume190

mv apache-flume-1.9.0-bin flume190

4.先进入路径/opt/software/spark/flume190/lib下，先将guava-11.0.2.jar包删除。

因为hadoop和hive中都有这个jar包，但是版本不一致，防止出现兼容性问题。

所以需要将hadoop下的对应包(路径为/opt/software/hadoop/hadoop313/share/hadoop/common/lib)拷贝给flume。

5.切换路径至/opt/software/spark/flume190/conf。将拷贝并重命名为flume-env.sh并编辑它。

//拷贝重命名
cp flume-env.sh.template flume-env.sh
//编辑
vi flume-env.sh
//修改一下
export JAVA_HOME=/opt/software/base/java180

6.配置环境变量。切换路径至/etc/profile.d。然后编辑my.sh

vi /etc/profile.d/my.sh
#FLUME_HOME
export FLUME_HOME=/opt/software/spark/flume190
export PATH=$PATH:$FLUME_HOME/bin

7.激活环境变量。

source /etc/profile

8.使用allsend.sh拷贝flume190及环境变量my.sh给其他节点

//先拷贝flume190
 
./allsend.sh /opt/software/spark/flume190 /opt/software/spark
 
//再拷贝my.sh
 
./allsend.sh /etc/profile.d/my.sh /etc/profile.d/

9.见第8步骤。激活每台机器的环境变量。

10.查看flume版本

flume-ng version

 

至此，flume安装配置完毕！