Zookeeper集群和Hadoop集群安装（保姆级教程）

1. HA

• HA（Heigh Available）高可用

  • 解决单点故障，保证企业服务 7*24 小时不宕机
  • 单点故障：某个节点宕机导致整个集群的宕机

• Hadoop 的 HA

  • NameNode 存在单点故障的可能，需要配置 HA 解决
  • 引入第二个 NameNode 作为备份
  • 同步两个 NameNode 的数据
  • 在第一个 NameNode 宕机后启用第二个 NameNode

• HA架构

2. Zookeeper

• Zookeeper 是一个分布式服务器框架

  • 提供了分布式程序通用的功能
  • 统一命名服务
  • 状态同步服务
  • 集群管理
  • 分布式应用配置项

• Zookeeper 集群

  • 为了防止 Zookeeper 出现单点故障问题，
  • Zookeeper 通常以集群的方式使用
  • 一般为 3 或 5 个节点

• Zookeeper 集群角色

  • Leader：被选举出的，与客户端交互
  • Follower：Leader 的备份，参与选举操作

• Zookeeper 集群选举机制

  • 少数服从多少
  • 编号大的优先

2.1 Zookeeper 的安装

#1、上传 Zookeeper 到 /home/hadoop 目录

#2、解压 Zookeeper 到 /usr/local 目录中
sudo tar -xvf apache-zookeeper-3.6.1-bin.tar.gz -C /usr/local

#3、进入 /usr/local 目录
cd /usr/local

#4、将解压的目录重命名为 zookeeper
sudo mv apache-zookeeper-3.6.1-bin/ zookeeper

#5、修改 zookeeper 目录的拥有者为 Hadoop
sudo chown -R hadoop zookeeper

#6、进入 Zookeeper 安装目录下的 conf 目录
cd /usr/local/zookeeper/conf

#7、重命名 zoo_sample.cfg 文件为 zoo.cfg
mv zoo_sample.cfg zoo.cfg


#8、编辑环境变量
vim /home/hadoop/.bashrc

#9、在环境变量增加以下内容
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#10、刷新环境变量
source /home/hadoop/.bashrc

2.2 Zookeeper 的使用

#启动 Zookeeper
zkServer.sh start

#查看 Zookeeper 的状态
zkServer.sh status

#关闭 Zookeeper
zkServer.sh stop

3. Zookeeper 的集群规划

节点主机名	ip
master	192.168.114.133 （自己的电脑IP，后面顺延就行）
slave1	192.168.114.134
slave2	192.168.114.135

• 搭建 3 节点的 Zookeeper 集群

  • 规划 主机名 和 IP

• 修改节点的主机名

  • #修改
    sudo hostnamectl set-hostname master
    #查看
    hostname
    

3.1 克隆虚拟机

1、关闭虚拟机中的所有软件并关闭虚拟机
2、在已有的虚拟机下右键点击“管理”->“克隆”
3、选择完整克隆
4、点击下一步直到去修改虚拟机信息
5、等待克隆完成后关闭操作窗口
6、重置虚拟机网卡

7、使用 root 用户登录，密码为 123456

8、配置 IP 地址

#1、 编辑 IP 配置文件
vim /etc/netplan/50-cloud-init.ymal

#2、修改 IP 地址为 192.168.114.134

#3、重启网络
netplan apply

#9、修改主机名
hostnamectl set-hostname slave1
hostname

10、照上操作再克隆出一个虚拟机
设置 IP 为 原克隆节点顺延后的ip
设置主机名为 slave2

3.2 搭建 Zookeeper 集群

#1、启动三台虚拟机，使用 Hadoop 用户登录

#2、编辑三台虚拟机的 hosts 文件

sudo vim /etc/hosts

#3、在文件最后添加以下内容（ip是自己电脑上的ip）
192.168.114.133 master
192.168.114.134 slave1
192.168.114.135 slave2

#4、互相之间使用 ping 命令，验证是否配置成功

ping master、ping slave1、ping slave2

#5、配置三个节点之间的免密登录
#1、删除 3 个节点上的 ssh 配置文件（3 个节点都执行）

rm -rf /home/hadoop/.ssh

#2、在 3 个节点上生成公钥（3 个节点都执行）

ssh-keygen

#3、发送各个节点的公钥给 master（3 个节点都执行）

ssh-copy-id master

#4、master 发送 authorized_keys 给 slave1 和 slave2
#仅在 master 执行

scp /home/hadoop/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/
scp /home/hadoop/.ssh/authorized_keys hadoop@slave2:/home/hadoop/.ssh/

#6、配置 Zookeeper 的配置文件----------------------

#1、编辑 3 个节点上的 zoo.cfg 文件（3 个节点都执行）
vim /usr/local/zookeeper/conf/zoo.cfg

#2、修改第 12 行的 dataDir 值（3 个节点都执行）
dataDir=/usr/local/zookeeper/data

#3、在文件最后追加以下内容（3 个节点都执行）
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

#7、配置 Zookeeper 的节点编号-----------------------

#1、在 3 个节点上创建 data 目录（3 个节点都执行）
mkdir /usr/local/zookeeper/data

#2、在 data 目录下创建 myid 文件（3 个节点都执行）
vim /usr/local/zookeeper/data/myid

#3、在 myid 文件填入每个节点的编号（3 个节点都执行）
master 节点填入 1
slave1 节点填入 2
slave2 节点填入 3

3.3 使用 Zookeeper 集群

#启动 Zookeeper 集群（3 个节点都执行）
zkServer.sh start

#查看 Zookeeper 集群的状态（3 个节点都执行）
zkServer.sh status

#关闭 Zookeeper 集群（3 个节点都执行）
zkServer.sh stop

验证状态：

4. Hadoop的HA配置

4.1 搭建Hadoop的分布式集群

1. 把slave1和slave2两个节点作为DataNode和NodeManager加入Hadoop集群

   • 在masterj节点编辑slaves文件，设置Hadoop中的DataNode和NodeManager节点