Zookeeper 之入门及分布式集群的搭建

Zookeeper简介

Zookeeper是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
简单来说zookeeper=文件系统+监听通知机制。
1、 文件系统
Zookeeper维护一个类似文件系统的数据结构：

每个子目录项如 NameService 都被称作为 znode(目录节点)，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。

有四种类型的znode：

• PERSISTENT-持久化目录节点
  客户端与zookeeper断开连接后，该节点依旧存在
• PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点
  客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
• EPHEMERAL-临时目录节点
  客户端与zookeeper断开连接后，该节点被删除
• EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点
  客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号

2、 监听通知机制
客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、被删除、子目录节点增加删除）时，zookeeper会通知客户端。

Zookeeper能做什么

zookeeper功能非常强大，可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能，我们这里拿比较简单的分布式应用配置管理为例来说明。

假设我们的程序是分布式部署在多台机器上，如果我们要改变程序的配置文件，需要逐台机器去修改，非常麻烦，现在把这些配置全部放到zookeeper上去，保存在 zookeeper 的某个目录节点中，然后所有相关应用程序对这个目录节点进行监听，一旦配置信息发生变化，每个应用程序就会收到 zookeeper 的通知，然后从 zookeeper 获取新的配置信息应用到系统中。

Windows安装Zookeeper3.4.9（单机模式）

3.4.9下载地址：
[http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz]
3.4.14下载地址：
https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.14/

1、解压zookeeper-3.4.9.tar.gz
2、在conf文件下zoo_sample.cfg复制一个文件为zoo.cfg
3、修改zoo.cfg配置文件

dataDir=D:\\Develop\\zookeeper-3.4.9\\data

4、进入bin目录下，运行zkServer.cmd启动服务

5、执行zkCli.cmd
发现3.4.14版本需要执行：zkCli.cmd -server 0.0.0.0:2181 才能连上，原因未知。

Zookeeper 3.4.9安装

下载地址：
http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
http://mirror.bit.edu.cn/apache/zookeeper/
官方文档：http://zookeeper.apache.org/doc/r3.4.9/

单机模式（Standalone）

这种模式下，如果当前主机宕机，那么所有依赖于当前zookeeper服务工作的其他服务器都不能在进行正常工作，这种事件称为单节点故障。所以这种模式一般用在测试环境。

Step1： Zookeeper依赖于Java环境，检验环境：java -version
Step2： 下载并解压zookeeper

# cd /opt
# wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
# tar -zxvf zookeeper-3.4.9.tar.gz
# cd zookeeper-3.4.9

Step3： 复制zoo-sample.cfg重命名为zoo.cfg
通过修改zoo.cfg来对zookeeper进行配置。这个名字固定写死，因为zookeeper启动会检查这个文件，根据这个配置文件里的信息来启动服务。

# cp conf/zoo_sample.cfg conf/zoo.cfg

Step4： 修改zoo.cfg配置文件，只需要修改dataDir参数

mkdir -p zkData
tickTime=2000
dataDir=/opt/zookeeper-3.4.9/zkData
clientPort=2181

• tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
• dataDir： 顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
• clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

Step5： 启动zookeeper

# bin/zkServer.sh start

启动成功后，用jps -m的命令查询，Zookeeper的进程为QuorumPeerMain
Step6： 检测是否成功启动，用zookeeper客户端连接下服务端

# bin/zkCli.sh

伪分布式集群模式（Fake Distributed）

在zoo.cfg中配置多个server.id，其中ip都是当前机器，而端口各不相同，启动时就是伪集群模式了。
这种模式和单机模式产生的问题是一样的。这种模式也是用在测试环境中。

Step1： Zookeeper依赖于Java环境，检验环境：java -version
Step2： 下载并解压zookeeper
Step3： 复制zoo-sample.cfg重命名为zoo-1.cfg

# cp conf/zoo_sample.cfg conf/zoo-1.cfg

Step4： 修改配置文件zoo-1.cfg，原配置文件里有的，修改成下面的值，没有的则加上

# vim conf/zoo-1.cfg
dataDir=/opt/zookeeper-3.4.9/zkData1
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

Step5： 再从zoo-1.cfg复制两个配置文件zoo-2.cfg和zoo-3.cfg，只需修改dataDir和clientPort不同即可

# cp conf/zoo-1.cfg conf/zoo-2.cfg
# cp conf/zoo-1.cfg conf/zoo-3.cfg
# vim conf/zoo-2.cfg
dataDir=/opt/zookeeper-3.4.9/zkData2
clientPort=2182
# vim conf/zoo-2.cfg
dataDir=/opt/zookeeper-3.4.9/zkData3
clientPort=2183

Step6： 配置myid，标识Server ID
在三个文件夹zkData1、zkData2、zkData3，在每个目录中创建文件myid 文件，写入当前实例的server id，即1、2、3

# cd zkData1
# vim myid
1
# cd zkData2
# vim myid
2
# cd zkData3
# vim myid
3

Step7： 启动三个zookeeper实例

# bin/zkServer.sh start conf/zoo-1.cfg
# bin/zkServer.sh start conf/zoo-2.cfg
# bin/zkServer.sh start conf/zoo-3.cfg

Step8： 检测集群状态，也可以直接用命令zkCli.sh -server IP:PORT连接zookeeper服务端检测

完全分布式集群模式（Full Distributed）

Zookeeper配置 Client port found: 2181. Client address: localhost. Client SSL: false. Error contacting

新版本后，bin是zookeeper文件，下面那个是源码，一定不要下载错了。

准备三台虚拟机Linux系统。IP： 192.168.56.71、192.168.56.72、192.168.56.73

Step1： 配置JAVA环境，检验环境：java -version
Step2： 下载并解压zookeeper
Step3： 复制zoo-sample.cfg重命名为zoo.cfg
Step4： 修改配置文件zoo.cfg

# mkdir -p zkData
# cp conf/zoo_sample.cfg conf/zoo.cfg
# vim conf/zoo.cfg
dataDir=/opt/zookeeper-3.4.9/zkData
# 在配置文件末尾加上这三行
server.1=192.168.56.71:2888:3888
server.2=192.168.56.72:2888:3888
server.3=192.168.56.73:2888:3888

说明：2888原子广播端口，3888选举端口，zookeeper有几个节点，就配置几个server。
Step5： 配置myid
到之前配置的zookeeper数据文件所在的目录下生成一个文件叫myid，其中写上一个数字表明当前机器是哪一个编号的机器。
注意：文件名称必须是myid，文件内容只需要一个数字即服务器列表中当前服务器的编号，要和上面zoo.cfg配置文件中的server配置对应。

vim zkData/myid
1

Step6： 将配置好的zookeeper文件夹分发到其他集群机器

scp -r zookeeper-3.4.9/ 192.168.56.72:/opt
scp -r zookeeper-3.4.9/ 192.168.56.73:/opt

Step7： 分别修改第二台和第三台服务器myid文件中的id

# 192.168.56.72
vim myid
2
# 192.168.56.73
vim myid
3

Step8： 三台集群机器分别启动zookeeper服务

bin/zkServer.sh start

出现错误问题解决方案：
解决ZooKeeper集群搭建 [myid:1] - WARN [QuorumPeer[myid=1]:QuorumCnxManager@685] - Cannot open channel
Zookeeper启动失败：java.net.BindException: Address already in use
解决ZooKeeper:java.net.BindException: Address already in use

Zookeeper服务操作命令

#启动ZK服务: 
bin/zkServer.sh start
#停止ZK服务: 
bin/zkServer.sh stop
#重启ZK服务: 
bin/zkServer.sh restart
#查看ZK服务状态: 
bin/zkServer.sh status
#启动zookeeper客户端
bin/zkCli.sh

zoo.cfg配置文件说明

• tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
• initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒
• syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 5*2000=10秒
• dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
• clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
• server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

Zookeeper使用

使用客户端命令操作zookeeper

用zookeeper客户端连接下服务端

bin/zkCli.sh

1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
2、创建一个新的 znode ，使用 create /zkPro myData
3、再次使用 ls 命令来查看现在 zookeeper 中所包含的内容：
4、下面我们运行 get 命令来确认第二步中所创建的 znode 是否包含我们所创建的字符串：

5、下面我们通过 set 命令来对 zk 所关联的字符串进行设置：

6、下面我们将刚才创建的 znode 删除

使用Java API操作zookeeper

使用Java API操作zookeeper需要引用下面的包

<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.4.12</version>
</dependency>

下面我们来实现上面说的分布式配置中心：
1、在zookeeper里增加一个目录节点，并且把配置信息存储在里面

2、启动两个zookeeper客户端程序，代码如下所示

import java.util.concurrent.CountDownLatch;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.Watcher.Event.EventType;
import org.apache.zookeeper.Watcher.Event.KeeperState;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;
 
public class ZooKeeperProSync implements Watcher {
 
    private static CountDownLatch connectedSemaphore = new CountDownLatch(1);
    private static ZooKeeper zk = null;
    private static Stat stat = new Stat();
 
    public static void main(String[] args) throws Exception {
        //zookeeper配置数据存放路径
        String path = "/username";
        //连接zookeeper并且注册一个默认的监听器
        zk = new ZooKeeper("192.168.31.100:2181", 5000, //
                new ZooKeeperProSync());
        //等待zk连接成功的通知
        connectedSemaphore.await();
        //获取path目录节点的配置数据，并注册默认的监听器
        System.out.println(new String(zk.getData(path, true, stat)));
 
        Thread.sleep(Integer.MAX_VALUE);
    }
 
    public void process(WatchedEvent event) {
        if (KeeperState.SyncConnected == event.getState()) {  //zk连接成功通知事件
            if (EventType.None == event.getType() && null == event.getPath()) {
                connectedSemaphore.countDown();
            } else if (event.getType() == EventType.NodeDataChanged) {  //zk目录节点数据变化通知事件
                try {
                    System.out.println("配置已修改，新值为：" + new String(zk.getData(event.getPath(), true, stat)));
                } catch (Exception e) {
                }
            }
        }
    }
}

两个程序启动后都正确的读取到了zookeeper的/username目录节点下的数据’qingfeng’

3、我们在zookeeper里修改下目录节点/username下的数据

修改完成后，我们看见两个程序后台都及时收到了他们监听的目录节点数据变更后的值，如下所示

参考：
Zookeeper完全分布式集群的搭建
Zookeeper入门看这篇就够了
zookeeper集群的安装和配置
zookeeper 集群搭建