搭建大数据三节点（Hadoop、Hbase、Zookeeper、Kafka、Hive）环境（含配置文件参考）

话不投机半句多，上干货

---

版本信息总览

1)操作系统，ubuntu ,版本信息如下:
ceson@ceson01:~/wechat_env$ cat /proc/version
Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 (Ubuntu 7.4.0-1ubuntu1~18.04.1)) #58-Ubuntu SMP Mon Jun 24 10:55:24 UTC 2019
2)JDK:1.8
3)zookeeper版本: zookeeper-3.4.12
4)hadoop版本: hadoop-3.1.2
5)hbase版本: hbase-2.0.5
6)hive版本：hive-3.1.2
7)三个主机（IP及机器名，IP可以随意更改，主机名尽可能保持一致，后面所有配置都以主机名写入zookeeper,hadoop,hbase配置文件；
  如果你机器名不是这个，后面的机器名配置更改为你环境中的机器名）：
192.168.1.134 ceson01
192.168.1.107 ceson02
192.168.1.169 ceson03
8)kafka版本： kafka_2.11-2.0.0
9)三个机器创建用户ceson/ceson(username/password)

Server IP、Hostname设置

hbase三个ip地址(可随意更换）及hostname（最好不变， 代码层面会根据hostname找到hbase）
目前hbase使用三个机器部署集群，需要修改hostname,以及hosts文件修改，请使用有权限的用户执行以下操作
note:建议ip使用静态设置，避免使用动态获取ip的方式，否则Ip和机器名映射就出现错乱

登录192.168.1.134
vim /etc/hostname
ceson01

假如重启机器后，hostname不生效，修改以下配置文件
vim  /etc/cloud/cloud.cfg
This will cause the set+update hostname module to not operate (if true)
preserve_hostname: true  #这里是将false改成true

vim /etc/hosts
192.168.1.134    ceson01
192.168.1.107    ceson02
192.168.1.169    ceson03

reboot

登录192.168.1.107
vim /etc/hostname
ceson02

vim  /etc/cloud/cloud.cfg
This will cause the set+update hostname module to not operate (if true)
preserve_hostname: true  #这里是将false改成true

vim /etc/hosts
192.168.1.134    ceson01
192.168.1.107    ceson02
192.168.1.169    ceson03

reboot

登录192.168.1.169
vim /etc/hostname
ceson03

vim  /etc/cloud/cloud.cfg
This will cause the set+update hostname module to not operate (if true)
preserve_hostname: true  #这里是将false改成true

vim /etc/hosts
192.168.1.134    ceson01
192.168.1.107    ceson02
192.168.1.169    ceson03

reboot

JDK设置

下载jdk1.8,及配置环境变量，以下版本为测试环境版本：
note:当前hbase版本必须使用jdk1.8或以上

ceson@ceson01:~$ java -version
java version "1.8.0_141"
Java(TM) SE Runtime Environment (build 1.8.0_141-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.141-b15, mixed mode)

下载各项组件并解压

分别下载zookeeper-3.4.12,hadoop-3.1.2,hbase-2.0.5，hive-3.1.2，kafka_2.11-2.0.0 组件，以下版本为参考：

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
http://archive.apache.org/dist/hbase/2.0.5/hbase-2.0.5-bin.tar.gz
http://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz
https://www-eu.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

使用ceson账户登录（其它两个机器的操作执行以下的操作）
mkdir wechat_env
cd wechat_env
自己到上面链接下载后上传到该目录
或者如下操作下载组件
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
wget http://archive.apache.org/dist/hbase/2.0.5/hbase-2.0.5-bin.tar.gz
wget http://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz
wget https://www-eu.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
假设zookeeper,habase组件都在以下目录路径下：/home/ceson/wechat_env：

note:如果不是该目录(/home/ceson/wechat_env)：
以root用户登录授权登录用户（testuser)文件夹wechat_env所有权限(以下两个命令以ceson用户登录的不用执行)
chown -R testuser /yourpath/wechat_env
su testuser

检查你当前操作的路径
ceson@ceson01:~/wechat_env$ pwd
/home/ceson/wechat_env

解压zookeeper,hadoop,hbase三个文件

tar zxvf hbase-2.0.5-bin.tar.gz
tar zxvf hadoop-3.1.2.tar.gz
tar zxvf zookeeper-3.4.12.tar.gz

配置无密码SSH访问

该步骤不是必须，但有该步操作，后面需要登录其它机器，则不需要输入密码

a.登录三台主机上分别执行 ssh-keygen -t rsa 生成公钥和私钥，
b.将三台主机的公钥分别追加到主机的~/.ssh/authorized_keys，在登录三台主机后都执行以下三条命令
ssh-copy-id -i ~/.ssh/id_rsa.pub ceson@ceson01
ssh-copy-id -i ~/.ssh/id_rsa.pub ceson@ceson02
ssh-copy-id -i ~/.ssh/id_rsa.pub ceson@ceson03

经过上面操作ceson01ceson02,ceson03就可以无密码相互登录
检查是否配置正确，以在ceson01机器操作示例
ssh ceson02
ssh ceson03
均可以实现无密码登录

1. 部署Zookeeper

1.1 修改配置文件zoo.cfg（注意：修改哪个机器的配置文件，就把对应的ceson0123改为0.0.0.0）

cd /home/ceson/wechat_env/zookeeper-3.4.12/conf
cp zoo_sample.cfg zoo.cfg 
vim zoo.cfg 
note:在文件末尾加入以下配置，其它默认，注释掉原来的配置# dataDir=/tmp/zookeeper
dataDir=/home/ceson/wechat_env/zookeeper/data
dataLogDir=/home/ceson/wechat_env/zookeeper/logs
server.1=ceson01:2888:3888
server.2=ceson02:2888:3888
server.3=ceson03:2888:3888

server.4=192.168.1.185:2888:3888
server.5=192.168.1.119:2888:3888

1.2 在ceson01机器执行下面的操作

cd /home/ceson/wechat_env
scp -r ./zookeeper-3.4.12/ ceson@ceson02:/home/ceson/wechat_env
scp -r ./zookeeper-3.4.12/ ceson@ceson03:/home/ceson/wechat_env

1.3 设置zookeeper数据目录

cd /home/ceson/wechat_env
ceson@ceson01:~/wechat_env$ mkdir zookeeper
ceson@ceson01:~/wechat_env$ cd zookeeper
ceson@ceson01:~/wechat_env/zookeeper$ mkdir data
ceson@ceson01:~/wechat_env/zookeeper$ echo 1 > /home/ceson/wechat_env/zookeeper/data/myid
ceson@ceson01:~/wechat_env/zookeeper$ ls
data
ceson@ceson01:~/wechat_env/zookeeper$ cd data/
ceson@ceson01:~/wechat_env/zookeeper/data$ ls
myid
ceson@ceson01:~/wechat_env/zookeeper/data$ more myid
1

1.4 复制zookeeper data目录到其它两个机器，需要另外登录其它两个机器修改myid文件

cd /home/ceson/wechat_env
ceson@ceson01:~/wechat_env$ scp -r ./zookeeper/ ceson@ceson02:/home/ceson/wechat_env
ceson@ceson01:~/wechat_env$ scp -r ./zookeeper/ ceson@ceson03:/home/ceson/wechat_env

1.5 登录ceson02机器，执行以下操作

ceson@ceson02:~$ echo 2 > /home/ceson/wechat_env/zookeeper/data/myid
ceson@ceson02:~$ more /h