搭建Zookeeper伪分布式集群

目录

1.1 搭建要求

1.2、Zookeeper集群⻆⾊

1.3 准备工作

1.4 启动集群

1.5 模拟集群异常

---

1.1 搭建要求

真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建伪集群，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。

我们这里要求搭建一个三个节点的Zookeeper集群（伪集群）。

在搭建集群前，我们需要将本机的防火墙关闭（此处省略）。

1.2、Zookeeper集群⻆⾊

zookeeper集群中的节点有三种⻆⾊

• Leader：处理集群的所有事务请求，集群中只有⼀个Leader。

• Follower：只能处理读请求，参与Leader选举。

• Observer：只能处理读请求，提升集群读的性能，但不能参与Leader选举。

1.3 准备工作

重新部署一台虚拟机作为我们搭建集群的测试服务器。

（1）安装JDK 【此步骤省略】。

（2）Zookeeper压缩包上传到服务器

（3）将Zookeeper解压 ，然后在zookeeper路径下创建一个文件目录

 ​
 #1、使用xftp  上传到 /tmp     目录下
 #略
 ​
 #2、解压
 tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz -C /opt/
 ​
 #3、创建每一台zookeeper的 数据存放目录创建一个data目录，需要几台zookeeper服务就建立几个目录，本次测试使用 一主二从 ，加上一个观察者。
 #所以我们要创建四个子目录，代表着四台服务的数据文件存放目录
 #分别命名为:zk1、zk2、zk3、zk4  
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk1
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk2
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk3
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk4
 ​
 #在每一台服务的目录下还需要创建 dataLog目录 主要用于存储服务的 日志消息
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk1/dataLog
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk2/dataLog
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk3/dataLog
 mkdir /opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk4/dataLog
 ​
 #4、创建四台服务的配置文件，因为咋们搭建的是伪集群环境，那咋们就需要用端口代替每一个服务，有几台服务就需要编写几个配置文件
 #我们进入zookeeper目录下的conf目录，将zoo_sample.cfg  配置模板文件 复制四份 分别为 zoo1、zoo2、zoo3、zoo4
 cp zoo_sample.cfg  zoo1.cfg
 cp zoo_sample.cfg  zoo2.cfg
 cp zoo_sample.cfg  zoo3.cfg
 cp zoo_sample.cfg  zoo4.cfg
 ​
 #5、编写每一个服务的配置文件，需要修改的地方为:dataDir（数据存放路径）、dataLogDir(日志存放路径)、clientPort（客户端连接端口），还需要添加各个服务的  网卡ip地址、集群通信端口、集群选举端口
 #存放数据文件夹(修改对应的zk1 zk2 zk3 zk4)
 dataDir=/opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk1
 #添加日志存放文件夹(修改对应的zk1 zk2 zk3 zk4)
 dataLogDir=/opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk1/dataLog
 # 修改对应的端⼝ 2181 2182 2183 2184
 clientPort=2181
 ​
 #注意以下内容每台服务的配置文件都需要
 #解释：server.服务器ID=服务器IP地址：服务器之间通信端口：服务器之间投票选举端口
 #在每一个zookeeper 的 zoo.cfg配置客户端访问端口（clientPort）和集群服务器IP列表。
 # 2001为集群通信端⼝，3001为集群选举端⼝，observer表示不参与集群选举,ip换自己linuxip
 server.1=192.168.10.10:2001:3001
 server.2=192.168.10.10:2002:3002
 server.3=192.168.10.10:2003:3003
 server.4=192.168.10.10:2004:3004:observer
 ​

最后一步，每一台服务都添加一个id

在每个zookeeper的 data 目录下创建一个 myid 文件，内容分别是1、2、3 。这个文件就是记录每个服务器的ID

 echo 1 >/opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk1/myid
 echo 2 >/opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk1/myid
 echo 3 >/opt/zookeeper/apache-zookeeper-3.5.6-bin/data/zk1/myid
 #大功告成

1.4 启动集群

启动集群就是加载各个服务配置文件

 #启动：进入zookeeper bin 目录下
 # start 启动  status 查看状态 stop 停止
 #我们在 启动的 后面 添加上我们想要启动的zookeeper 服务的配置文件路径即可
 ./zkServer.sh start ./myconf/zoo1.cfg
 ./zkServer.sh start ./myconf/zoo2.cfg
 ./zkServer.sh start ./myconf/zoo3.cfg
 ./zkServer.sh start ./myconf/zoo4.cfg

查看启动状态

 #查询服务状态
 ./zkServer.sh status ./myconf/zoo1.cfg
 ./zkServer.sh status ./myconf/zoo2.cfg
 ./zkServer.sh status ./myconf/zoo3.cfg
 ./zkServer.sh status ./myconf/zoo4.cfg

zoo1

可以看到 这里启动成功了，模式为子节点也就是从节点，只能读不能写，参与Leader选举

zoo2

模式为主节点：可以读也可以写,整个集群只有一个

zoo3

模式为从节点：只能读不能写，参与Leader选举

zoo4

模式为观察者模式:只能读不能写，还不能投票

 

 

启动后我们查询一下每个实例的运行状态

 
 ./zkServer.sh status ./myconf/zoo1.cfg
 ./zkServer.sh status ./myconf/zoo2.cfg
 ./zkServer.sh status ./myconf/zoo3.cfg
 ./zkServer.sh status ./myconf/zoo4.cfg

1.5 模拟集群异常

（1）首先我们先测试如果是从服务器挂掉，会怎么样

把1号服务器停掉，观察2号和3号、4号，发现状态并没有变化

 #停掉 服务器1
 ./zkServer.sh stop ./myconf/zoo1.cfg
 ​
 #查看状态
 ./zkServer.sh status ./myconf/zoo2.cfg
 ./zkServer.sh status ./myconf/zoo3.cfg
 ./zkServer.sh status ./myconf/zoo4.cfg
 ​

可以看到，我们的 2号主服务正常，3号从服务器正常，4号观察者服务器也正常

由此得出结论，4个节点的集群，从服务器挂掉一个，集群正常

（2）我们再把3号服务器（从服务器）也停掉，查看2号（主服务器）的状态，发现已经停止运行了。

 #停止 3号从机服务
 ./zkServer.sh stop ./myconf/zoo3.cfg
 ​
 #查看 2号主机服务
 ./zkServer.sh status ./myconf/zoo2.cfg

由此得出结论，4个节点的集群，2个从服务器都挂掉，主服务器也无法运行。因为除了观察者之外可运行的机器没有超过集群总数量的半数。

（3）我们再次把1号服务器启动起来，发现2号服务器又开始正常工作了。而且依然是领导者。

 #启动一号从机.
 /zkServer.sh start ./myconf/zoo1.cfg
 #查看二号主机的状态
 ./zkServer.sh status ./myconf/zoo2.cfg

（4）我们把3号（从）服务器也启动起来，把2号(主)服务器停掉,停掉后观察1号和3号的状态。

 
 ./zkServer.sh start ./myconf/zoo3.cfg
 ./zkServer.sh stop ./myconf/zoo2.cfg
 ​
 ./zkServer.sh status ./myconf/zoo1.cfg
 ./zkServer.sh status ./myconf/zoo3.cfg

发现新的leader产生了~

由此我们得出结论，当集群中的主服务器挂了，集群中的其他服务器会自动进行选举状态，然后产生新得leader

（5）我们再次测试，当我们把2号服务器重新启动起来启动后，会发生什么？2号服务器会再次成为新的领导吗？我们看结果

 
 ./zkServer.sh start ./myconf/zoo2.cfg
 ​
 ./zkServer.sh status ./myconf/zoo2.cfg
 ​
 ./zkServer.sh status ./myconf/zoo3.cfg

我们会发现，2号服务器启动后依然是跟随者（从服务器），3号服务器依然是领导者（主服务器），没有撼动3号服务器的领导地位。

由此我们得出结论，当领导者产生后，再次有新服务器加入集群，不会影响到现任领导者。