D009 复制粘贴玩大数据之安装与配置Flume集群

0x00 教程内容

1. Flume的获取
2. 上传安装包到集群
3. 安装Flume集群
4. Flume集群校验

0x01 Flume的获取

1. 官网下载

a. 为了统一，此处下载HBase1.2.6版本 ：
http://archive.apache.org/dist/flume
选择1.8.0/apache-flume-1.8.0-bin.tar.gz进行下载

或者，点击下列链接：
http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

2. 添加微信：shaonaiyi888

3. 关注公众号：邵奈一

a. 回复flume获取

0x02 上传安装包到集群

1. 上传安装包到虚拟机

PS：如果不是docker部署的集群，则直接上传到虚拟机即可，因为，每台虚拟机就是一个节点。

2. 复制安装包到master节点

docker cp apache-flume-1.8.0-bin.tar.gz hadoop-master:/root
sh ~/master.sh

0x03 安装Flume集群

1. 解压Flume

a. 解压安装包（-C为指定解压到/usr/local路径）
tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /usr/local

2. 配置Flume

a. 修改配置文件 flume-env.sh($FLUME_HOME/conf)：
cd /usr/local/apache-flume-1.8.0-bin/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh

添加内容：
export JAVA_HOME=/usr/local/jdk1.8.0_161/

b. 配置环境变量（可看到docker生成节点时默认配好的其他环境变量）
vi /etc/profile

export FLUME_HOME=/usr/local/apache-flume-1.8.0-bin
export PATH=$PATH:$FLUME_HOME/bin

使配置生效（echo一下有内容输入，说明已经配好）
source /etc/profile

3. 在同步Flume到slave1、slave2

a. 将apache-flume-1.8.0-bin拷贝到slave1和slave2上
scp -r /usr/local/apache-flume-1.8.0-bin root@hadoop-slave1:/usr/local/
scp -r /usr/local/apache-flume-1.8.0-bin root@hadoop-slave2:/usr/local/

ps:如遇到下面这个问题，则登录slave1、slave2

启动ssh服务：


b. 配置slave1、slave2的环境变量，记得要source一下

0x04 Flume集群校验

1. 查看Flume版本号

a. 分别在master、slave1、slave2上执行：
flume-ng version
如果都可查看到版本号：Flume 1.8.0，说明已经安装成功！

b. 如果出现下面的错误信息，这是因为与HBase发生了配置冲突，需要修改一下：

解决：把之前在$HBASE_HOME/conf/hbase-env.sh的这句注释掉
export HBASE_CLASSPATH=/usr/local/hadoop-2.7.5/etc/hadoop
重新执行就没有报错了！

或者，将将HBASE_CLASSPATH改为JAVA_CLASSPATH，配置如下
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

0xFF 总结

1. 本次安装Flume集群，其实就只是在各节点上都安装好Flume，而在使用的过程中，也是分节点执行。

作者简介：邵奈一
大学大数据讲师、大学市场洞察者、专栏编辑
公众号、微博、CSDN：邵奈一
本系列课均为本人：邵奈一原创，如转载请标明出处