第三章、Zookeeper 集群操作

最新推荐文章于 2022-09-22 11:22:54 发布

TryBest_

最新推荐文章于 2022-09-22 11:22:54 发布

阅读量178

点赞数

分类专栏： zookeeper笔记文章标签： zookeeper

本文链接：https://blog.csdn.net/weixin_45702895/article/details/123968028

版权

zookeeper笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

3.1 集群操作

3.1.1 集群安装

把安装包传到hadoop1上

1）集群规划

在 hadoop1、hadoop2 和 hadoop3 三个节点上都部署 Zookeeper。
思考：如果是 10 台服务器，需要部署多少台 Zookeeper？
9台

2）解压安装

（1）在 hadoop102 解压 Zookeeper 安装包到/opt/module/目录下

[pcz@hadoop1 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

（2）修改 apache-zookeeper-3.5.7-bin 名称为 zookeeper-3.5.7

[pcz@hadoop1 software]$ mv /opt/module/apache-zookeeper-3.5.7-bin/ /opt/module/zookeeper-3.5.7

3）配置服务器编号

（1）在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData

[pcz@hadoop1 software]$ cd /opt/module/zookeeper-3.5.7/
[pcz@hadoop1 zookeeper-3.5.7]$ mkdir zkData

（2）在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件

[pcz@hadoop1 zookeeper-3.5.7]$ cd zkData/
[pcz@hadoop1 zkData]$ vim myid

在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）

注意：添加 myid 文件，一定要在 Linux 里面创建，在 notepad++里面很可能乱码
（3）拷贝配置好的 zookeeper 到其他机器上

[pcz@hadoop1 zkData]$ xsync /opt/module/zookeeper-3.5.7/

并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 2、3

[pcz@hadoop1 zkData]$ ssh hadoop2
[pcz@hadoop2 ~]$ vim /opt/module/zookeeper-3.5.7/zkData/myid 
2
[pcz@hadoop2 ~]$ ssh hadoop3
Last login: Thu Dec 30 22:11:49 2021 from hadoop1
[pcz@hadoop3 ~]$ vim /opt/module/zookeeper-3.5.7/zkData/myid 
3
[pcz@hadoop3 ~]$ exit
登出
Connection to hadoop3 closed.
[pcz@hadoop2 ~]$ exit
登出
Connection to hadoop2 closed.
[pcz@hadoop1 zkData]$

4）配置zoo.cfg文件

（1）重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg

[pcz@hadoop1 conf]$ mv zoo_sample.cfg zoo.cfg

（2）打开 zoo.cfg 文件

[pcz@hadoop1 conf]$ vim zoo.cfg
.

#修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

#增加如下配置

#######################cluster##########################
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cGuUgua4-1649136131451)(G:\zookeeper（md版本）_resources\c0d03db275fc55135838b53beee7b068.png)]
（3）配置参数解读

server.A=B:C:D。

A 是一个数字，表示这个是第几号服务器；
集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
B 是这个服务器的地址；
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
.（4）同步 zoo.cfg 配置文件

[pcz@hadoop1 conf]$ xsync zoo.cfg

5）集群操作

（1）分别启动 Zookeeper

[pcz@hadoop1 zookeeper-3.5.7]$ bin/zkServer.sh start
[pcz@hadoop2 zookeeper-3.5.7]$ bin/zkServer.sh start
[pcz@hadoop3 zookeeper-3.5.7]$ bin/zkServer.sh start

（2）查看状态

[pcz@hadoop1 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[pcz@hadoop2 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader
[pcz@hadoop3 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

3.1.2 选举机制（面试重点）

Zookeeper选举机制——第一次启动

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；
（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING
（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
（5）服务器5启动，同4一样当小弟。

Zookeeper选举机制——非第一次启动

（1）当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：
• 服务器初始化启动。
• 服务器运行期间无法和Leader保持连接。
（2）而当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态：
• 集群中本来就已经存在一个Leader。
对于第一种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。
• 集群中确实不存在Leader。
假设ZooKeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。SID为1、2、4的机器投票情况：（EPOCH，ZXID，SID ）：（1，8，1）（1，8，2）（1，7，4）
选举Leader规则：
①EPOCH大的直接胜出
②EPOCH相同，事务id大的胜出
③事务id相同，服务器id大的胜出
SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重
复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

3.1.3 ZK 集群启动停止脚本

1）在 hadoop1 的/home/pcz/bin 目录下创建脚本

[pcz@hadoop1 bin]$ vim zk.sh

在脚本中编写如下内容

#!/bin/bash
case $1 in
"start") {
      for i in hadoop1 hadoop2 hadoop3
      do
          echo _______________zookeeper $i 启动 _______________
          ssh  $i  "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
      done
};;
"stop") {
      for i in hadoop1 hadoop2 hadoop3
      do
          echo _______________zookeeper $i 停止 _______________
          ssh  $i  "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
      done
};;
"status") {
      for i in hadoop1 hadoop2 hadoop3
      do
          echo _______________zookeeper $i 状态 _______________
          ssh  $i  "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
      done
};;
esac

2）增加脚本执行权限

[pcz@hadoop1 bin]$ chmod 777 zk.sh

3）Zookeeper 集群启动脚本

[pcz@hadoop1 bin]$ zk.sh start

4）Zookeeper 集群停止脚本

[pcz@hadoop1 bin]$ zk.sh stop

5）Zookeeper 集群状态脚本

[pcz@hadoop1 bin]$ zk.sh status

3.2 客户端命令行操作

3.2.1 命令行语法

命令基本语法	功能描述
help	显示所有操作命令
ls path	使用ls命令来查看当前znode的子节点[可监听]； -w 监听子节点变化 -s附加次级信息
create	普通创建；-s 含有序列号 -e 临时（重启或者超时后创建的会消失）
get path	获得节点的值[可监听]；-w 监听节点内容变化 -s 附加次级信息
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

1）启动客户端

[pcz@hadoop1 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop1:2181

2）显示所有操作命令

[zk: hadoop1:2181(CONNECTED) 1] help

3.2.2 znode 节点数据信息

1）查看当前znode中所包含的内容

[zk: hadoop1:2181(CONNECTED) 2] ls /

2）查看当前节点详细数据

[zk: hadoop1:2181(CONNECTED) 3] ls -s /
[zookeeper]cZxid = 0x0 
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

zk存储数据采用的是树形结构
（1）czxid：创建节点的事务zxid
每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。事务ID是Zookeeper中所有修改总的次序。每次修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。（也就是说，创建节点的时候它是第几步操作）
（2）ctime：znode被创建的毫秒数（从1970年开始）
（3）mzxid：zndoe最后更新的事务zxid
（4）mtime：znode最后修改的毫秒数（从1970年开始）
（5）pZxid：znode最后更新的子节点zxid
（6）cversion：zonde子节点变化号，znode子节点修改次数
（7）dataversion:znode数据变化号
（8）aclVersion：znode访问控制列表的变化号
（9）ephemeralOwner：如果是临时节点，这个是znode拥有者的session id，如果不是，临时节点则是0。
（10）dataLength：znode的数据长度
（11）numChildren：znode子节点数量

3.2.3 节点类型（持久/短暂/有序号/无序号）

1）分别创建2个普通节点（永久节点 + 不带序号）

[zk: hadoop1:2181(CONNECTED) 11] create /Goods "drinking"
Created /Goods

[zk: hadoop1:2181(CONNECTED) 12] create /Goods/Foods "beef"
Created /Goods/Foods

注意：创建节点时，要赋值

2）获得节点的值

[zk: hadoop1:2181(CONNECTED) 16] get -s /Goods
drinking  //前面附的值，节点的值
cZxid = 0x300000004
ctime = Tue Feb 22 08:45:12 CST 2022
mZxid = 0x300000004
mtime = Tue Feb 22 08:45:12 CST 2022
pZxid = 0x300000005
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1

3）创建带序号的节点（永久节点 + 带序号）

（1）先创建一个普通的根节点/Goods/Toys

[zk: hadoop1:2181(CONNECTED) 18] create /Goods/Toys "tuolaji"
Created /Goods/Toys

（2）创建带序号的节点

[zk: hadoop1:2181(CONNECTED) 10] create -s /Goods/Foods/vegetables
Created /Goods/Foods/vegetables0000000000
[zk: hadoop1:2181(CONNECTED) 11] create -s /Goods/Foods/vegetables
Created /Goods/Foods/vegetables0000000001
[zk: hadoop1:2181(CONNECTED) 12] ls /Goods/Foods/vegetables
Node does not exist: /Goods/Foods/vegetables
[zk: hadoop1:2181(CONNECTED) 13] ls /Goods/Foods
[vegetables0000000000, vegetables0000000001]

[zk: hadoop1:2181(CONNECTED) 15] create -s /Goods/Toys/JiMu
Created /Goods/Toys/JiMu0000000004

如果原来没有序号节点，序号从 0 开始依次递增。如果原节点下已有 2 个节点，则再排序时从 2 开始，以此类推
退出zkCli，然后再次连接查看节点情况

[zk: hadoop1:2181(CONNECTED) 29] quit

连接zkCli后发现节点依然存在

[pcz@hadoop1 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop1:2181

4）创建短暂节点（短暂节点 + 不带序号 or 带序号）

（1）创建短暂的不带序号的节点

[zk: hadoop1:2181(CONNECTED) 5] create -e /Goods/Clothes/tshirts "tshirts"
Created /Goods/Clothes/tshirts

（2）创建短暂的带序号的节点

[zk: hadoop1:2181(CONNECTED) 9] create -s -e /Goods/Clothes/shoe "xiezi"
Created /Goods/Clothes/shoe0000000001
[zk: hadoop1:2181(CONNECTED) 10] create -s -e /Goods/Clothes/shoe "xiezi"
Created /Goods/Clothes/shoe0000000002

（3）在当前客户端是能查看到的

[zk: hadoop1:2181(CONNECTED) 11] ls /Goods/Clothes
[shoe0000000001, shoe0000000002, tshirts]

（4）退出当前客户端然后再重启客户端，查看临时节点，则内容为空

[zk: hadoop1:2181(CONNECTED) 13] quit
[pcz@hadoop1 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop1:2181
[zk: hadoop1:2181(CONNECTING) 0] ls /Goods/Clothes
[]

5）修改节点数据值

[zk: hadoop1:2181(CONNECTED) 2] set /Goods "shangping"

3.2.4 监听器原理（重要）

客户端注册监听他关心的目录节点，当目录节点发生变化（数据改变、及诶单删除、子目录节点增加删除）时，ZooKeeper会通知客户端。监听机制保证ZooKeeper保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。

1）节点的值变化监听

（1）在 hadoop3 主机上注册监听/Goods/Cosmetics 节点数据变化

[zk: localhost:2181(CONNECTED) 1] get -w /Goods/Cosmetics
huazhuangpin

（2）在 hadoop2 主机上修改/Goods/Cosmetics节点的数据

[zk: localhost:2181(CONNECTED) 0] set /Goods/Cosmetics "HuaZhuangPin"

（3）观察 hadoop3 主机收到数据变化的监听

WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/Goods/Cosmetics

注意：在hadoop2再多次修改//Goods/Cosmetics的值，hadoop3上不会再收到监听。因为注册一次，只能监听一次。想再次监听，需要再次注册(增加或删除节点的行为不会受到监听，节点变化用ls -w函数)

2）节点的子节点变化监听（路径变化）

（1）在 hadoop3 主机上注册监听/Goods/Cosmetics 节点的子节点变化

[zk: localhost:2181(CONNECTED) 4] ls -w /Goods/Cosmetics
[Lipstick]

（2）在 hadoop2 主机上修改/Goods/Cosmetics节点上增加子节点FaceMask

[zk: localhost:2181(CONNECTED) 8] create /Goods/Cosmetics/FaceMask "mianmo"
Created /Goods/Cosmetics/FaceMask

（3）观察 hadoop3 主机收到数据变化的监听

WATCHER::

WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/Goods/Cosmetics

注意：节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册。

3.2.5 节点删除与查看

1）删除节点

[zk: localhost:2181(CONNECTED) 34] delete /Goods/Clothes/Shoe

2）递归删除节点

[zk: localhost:2181(CONNECTED) 35] deleteall /Goods/Clothes
[zk: localhost:2181(CONNECTED) 36] ls /Goods
[Cosmetics, Foods, Toys]

3）查看节点状态

[zk: localhost:2181(CONNECTED) 41] stat /Goods
cZxid = 0x300000004
ctime = Tue Feb 22 08:45:12 CST 2022
mZxid = 0x40000000c
mtime = Tue Feb 22 20:52:49 CST 2022
pZxid = 0x400000021
cversion = 5
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 9
numChildren = 3

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6vmVLupW-1649136131456)(…/…/_resources/211d3fcdbcb3cdfb2f682ff55ea7efc0.png)]

3.3 客户端API操作

前提：保证hadoop1，hadoop2，hadoop3服务器上的ZooKeeper集群服务端启动。

3.3.1 IDEA环境搭建

1）创建一个工程：zookeeper

2）添加pom文件

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>

        </dependency>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.5.7</version>
        </dependency>
    </dependencies>

3）拷贝log4j.properties文件到项目根目录

需要在项目的 src/main/resources 目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c]
- %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c]
- %m%n

4）创建包名com.pcz.zk

5）创建类名称zkCli

3.3.2 创建 ZooKeeper 客户端

package com.pcz.zk;

import org.apache.zookeeper.*;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;

public class zkCli {
    private String connectString="hadoop1:2181,hadoop2:2181,hadoop3:2181";
    private int sessionTimeout=2000;
    private ZooKeeper zkCli;

    @Before
    public void init() throws IOException {
        zkCli = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            public void process(WatchedEvent watchedEvent) {

            }
        });
    }
    @Test
    public void create() throws KeeperException, InterruptedException {
        String nodeCreated = zkCli.create("/occupation", "zhiye".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }
}

3.3.3 创建子节点

    @Test
    public void create() throws KeeperException, InterruptedException {
        // 参数 1：要创建的节点的路径； 参数 2：节点数据 ； 参数 3：节点权限 ；参数 4：节点的类型

        String nodeCreated = zkCli.create("/occupation", "zhiye".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

测试：在 hadoop1 的 zk 客户端上查看创建节点情况

3.3.4 获取子节点并监听节点变化

    //2.监听节点数据变化
    @Test
    public void getChildren() throws KeeperException, InterruptedException {

        //延时
        Thread.sleep(Long.MAX_VALUE);
    }

在监听器中加入如下代码实现循环监听

  List<String> children = null;
                try {
                    children = zkCli.getChildren("/", true);

                    for (String child : children) {
                        System.out.println(child);
                    }
                    System.out.println("_____________________");
                } catch (KeeperException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }

在 IDEA 控制台上看到如下节点：

Lovers
Goods
occupation
zookeeper
_____________________

3.3.5 判断 Znode 是否存在

    //判断Znode是否存在
    @Test
    public void  exist() throws KeeperException, InterruptedException {
        Stat stat = zkCli.exists("/", false);
        System.out.println(stat==null?"not exist":"exist");
    }

3.4 客户端向服务端写数据流程

注意：只要有半数的服务器完成写数据就会采用ack回传信息

TryBest_

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
第三章、Zookeeper 集群操作

3.1 集群操作3.1.1 集群安装把安装包传到hadoop1上1）集群规划在 hadoop1、hadoop2 和 hadoop3 三个节点上都部署 Zookeeper。思考：如果是 10 台服务器，需要部署多少台 Zookeeper？9台2）解压安装（1）在 hadoop102 解压 Zookeeper 安装包到/opt/module/目录下[pcz@hadoop1 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /op
复制链接

扫一扫