高可用架构篇：【1】ZooKeeper集群的安装、配置、高可用测试（多节点）

前言：Zookeeper集群中只要有过半的节点是正常的情况下，那么整个集群对外就是可用的。正是基于这个特性，要将ZK集群的节点数量要为奇数（2n+1：如3、5、7个节点）较为合适。

ZooKeeper环境分配

• 服务器1：192.168.0.222 端口：2181、2881、3881
• 服务器2：192.168.0.223 端口：2182、2882、3882
• 服务器3：192.168.0.224 端口：2183、2883、3883

1、 修改操作系统的/etc/hosts文件，添加IP与主机名映射：

# zookeeper cluster servers
192.168.0.222   edu-zk-01
192.168.0.223   edu-zk-02
192.168.0.224   edu-zk-03

2、 下载或上传zookeeper-3.4.6.tar.gz到/home/wusc/zookeeper目录：

$ cd /home/hk/zookeeper
$ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

3、 解压zookeeper安装包，并按节点号对zookeeper目录重命名：

$ tar -zxvf zookeeper-3.4.6.tar.gz
服务器1：
$ mv zookeeper-3.4.6 node-01
服务器2：
$ mv zookeeper-3.4.6 node-02
服务器3：
$ mv zookeeper-3.4.6 node-03

4、 在各zookeeper节点目录下创建以下目录：

$ cd /home/hk/zookeeper/node-0X  (X代表节点号1、2、3，以下同解)
$ mkdir data
$ mkdir logs

5、 将zookeeper/node-0X/conf目录下的zoo_sample.cfg文件拷贝一份，命名为zoo.cfg:

$ cp zoo_sample.cfg zoo.cfg

6、 修改zoo.cfg配置文件：

• zookeeper/node-01的配置（/home/hk/zookeeper/node-01/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hk/zookeeper/node-01/data
dataLogDir=/home/hk/zookeeper/node-01/logs
clientPort=2181
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

• zookeeper/node-02的配置（/home/hk/zookeeper/node-02/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hk/zookeeper/node-02/data
dataLogDir=/home/hk/zookeeper/node-02/logs
clientPort=2182
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

• zookeeper/node-03的配置（/home/hk/zookeeper/node-03/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hk/zookeeper/node-03/data
dataLogDir=/home/hk/zookeeper/node-03/logs
clientPort=2183
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

参数说明:

tickTime=2000
tickTime这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳。

initLimit=10
initLimit这个配置项是用来配置Zookeeper接受客户端（这里所说的客户端不是用户连接Zookeeper服务器的客户端,而是Zookeeper服务器集群中连接到Leader的Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10个心跳的时间（也就是tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。

syncLimit=5
syncLimit这个配置项标识Leader与Follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir=/home/hk/zookeeper/node-01/data
dataDir顾名思义就是Zookeeper保存数据的目录,默认情况下Zookeeper将写数据的日志文件也保存在这个目录里。

clientPort=2181
clientPort这个端口就是客户端（应用程序）连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求。
server.A=B：C：D
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883
A是一个数字,表示这个是第几号服务器；
B是这个服务器的IP地址（或者是与IP地址做了映射的主机名）；
C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的Leader服务器交换信息的端口；
D是在leader挂掉时专门用来进行选举leader所用的端口。
注意：如果是伪集群的配置方式，不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

7、 在dataDir=/home/hk/zookeeper/node-0X/data下创建myid文件

• 编辑myid文件，并在对应的IP的机器上输入对应的编号。如在node-01上，myid文件内容就是1,node-02上就是2，node-03上就是3：

$ vi /home/hk/zookeeper/node-01/data/myid  ## 值为1
$ vi /home/hk/zookeeper/node-02/data/myid  ## 值为2
$ vi /home/hk/zookeeper/node-03/data/myid  ## 值为3

8、 在防火墙中打开要用到的端口218X、288X、388X

• 切换到root用户权限，执行以下命令：
• 服务器01增加以下3行：

## zookeeper
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2881 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3881 -j ACCEPT

• 服务器02增加以下3行：

## zookeeper
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2182 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2882 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3882 -j ACCEPT

• 服务器03增加以下3行：

## zookeeper
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2183 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2883 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3883 -j ACCEPT

• 重启防火墙：
• service iptables restart
• 查看防火墙端口状态：
• service iptables status

9、 启动并测试zookeeper（要用hk用户启动，不要用root）:

(1) 使用hk用户到/home/hk/zookeeper/node-0X/bin目录中执行：

$ /home/hk/zookeeper/node-01/bin/zkServer.sh start
$ /home/hk/zookeeper/node-02/bin/zkServer.sh start
$ /home/hk/zookeeper/node-03/bin/zkServer.sh start

(2) 输入jps命令查看进程：

$ jps
1456 QuorumPeerMain

• 其中，QuorumPeerMain是zookeeper进程，说明启动正常

(3) 查看状态：

$ /home/hk/zookeeper/node-01/bin/zkServer.sh status

(4) 查看zookeeper服务输出信息：

由于服务信息输出文件在/home/hk/zookeeper/node-0X/bin/zookeeper.out
$ tail -500f zookeeper.out
## 注意日志输出再启动目录

10、 停止zookeeper进程：

$ zkServer.sh stop

11、 配置zookeeper开机使用hk用户启动：

• 编辑node-01、node-02、node-03中的/etc/rc.local文件，分别加入：

su - hk -c '/home/hk/zookeeper/node-01/bin/zkServer.sh start'
su - hk -c '/home/hk/zookeeper/node-02/bin/zkServer.sh start'
su - hk -c '/home/hk/zookeeper/node-03/bin/zkServer.sh start'