【Zookeeper】3. Zookeeper 集群安装

最新推荐文章于 2024-09-17 18:19:22 发布
最新推荐文章于 2024-09-17 18:19:22 发布
阅读量508 收藏 2
点赞数
分类专栏： Zookeeper 文章标签： zookeeper集群安装 zookeeper选举机制 zookeeper客户端API
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Qmilumilu/article/details/119852984
版权

Zookeeper 集群安装

3.1 集群操作

3.1.1 ⭐集群安装

  1. 集群规划

    在 hadoop102、 hadoop103 和 hadoop104 三个节点上都部署 Zookeeper

    思考：如果是 10 台服务器，需要部署多少台 Zookeeper？

    安装奇数台生产经验：

    • 10 台服务器： 3 台 zk

    • 20 台服务器： 5 台 zk

    • 100 台服务器： 11 台 zk

    • 200 台服务器： 11 台 zk

      服务器台数多：好处，提高可靠性；坏处：提高通信延时

  2. 拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下

  3. 解压到指定目录

    tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

  4. 修改名称

    mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7/

  5. 配置服务器编号

    1. 在/opt/module/zookeeper-3.5.7/这个目录上创建zkData文件夹

      [cool@hadoop102 zookeeper-3.5.7]$ mkdir zkData
[cool@hadoop102 zookeeper-3.5.7]$ cd zkData/
[cool@hadoop102 zkData]$ pwd
/opt/module/zookeeper-3.5.7/zkData

    2. 在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个myid文件，并在文件中添加与 server 对应的编号

      vim myid[cool@hadoop102 zkData]$ vim myid

      2

  6. 修改配置文件

    1. 将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg

      mv zoo_sample.cfg zoo.cfg

    2. 打开 zoo.cfg 文件，修改 dataDir 路径

      # The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.

#======修改 dataDir 路径===========
#tmp/ 下的文件会定时清理
#dataDir=/tmp/zookeeper
dataDir=/opt/module/zookeeper-3.5.7/zkData

# the port at which the clients will connect
clientPort=2181

    3. 打开 zoo.cfg 文件，增加如下配置

      #######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

    4. 配置参数解读:

      server.A=B:C:D
      1. A 是一个数字，表示这个是第几号服务器；集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与zoo.cfg 里面的配置信息比较从而判断到底是哪个server
      2. B 是这个服务器的地址
      3. C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口
      4. D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口

  7. 拷贝配置好的 zookeeper 到其他机器上

    [cool@hadoop102 module]$ xsync zookeeper-3.5.7/

  8. 分别在 hadoop103、 hadoop104 上修改 myid 文件中内容为 3、 4

    [cool@hadoop103 zkData]$ vim myid 
[cool@hadoop103 zkData]$ cat myid 
3

    [cool@hadoop104 zkData]$ vim myid 
[cool@hadoop104 zkData]$ cat myid 
4

  9. 操作ZooKeeper

    1. 当只启动一个Hadoop104节点后，查看Zookeeper状态

      [cool@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[cool@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
    //发生错误：集群中只有半数以上节点存活，Zookeeper集群才能正常服务
Error contacting service. It is probably not running.

    2. 分别Hadoop102和Hadoop103启动 Zookeeper

      [cool@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start
[cool@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start

    3. 查看状态

      [cool@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
    //hadoop102为follower

      [cool@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
    //hadoop103为follower

      [cool@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader
    //hadoop104为 leader

3.1.2 ⭐选举机制

在这里插入图片描述

Zookeeper中服务器信息中的几个标识信息：

  1. SID：服务器ID：用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和 myid 一致
  2. ZXID：事务ID：ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关
  3. Epoch：每个Leader任期的代号：没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

  1. Zookeeper选举机制——第一次启动

    1. 服务器 1 启动， 发起一次选举：服务器 1 投自己一票。此时服务器1票数 1 票， 不够半数以上（ 3票） ，选举无法完成，服务器1状态保持为LOOKING
    2. 服务器 2 启动，再发起一次选举：服务器 2 投自己一票。此时服务器 1 发现服务器2的 myid 比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING
    3. 服务器 3 启动， 发起一次选举：服务器 3 投自己一票。由于 myid = 3 最大，此时服务器 1 和 2 都会更改选票为投服务器3。 此次投票结果：服务器1为0票， 服务器2为0票， 服务器3为3票。 ⭐此时服务器3的票数已经超过半数， 服务器3当选Leader。 服务器1， 2更改状态为FOLLOWING， 服务器3更改状态为LEADING
    4. 服务器 4 启动， 发起一次选举：服务器 3 投自己一票。但此时服务器1， 2， 3已经不是LOOKING状态， 不会更改选票信息。 最后结果为服务器 3 为3票， 服务器 4 为1票。 此时服务器 4 服从多数， 更改选票信息为服务器3， 并更改状态为FOLLOWING
    5. 服务器 5 启动， 同4一样当小弟

  2. Zookeeper选举机制——非第一次启动

    1. 当ZooKeeper集群中的一台服务器出现以下两种情况之一时， 就会开始进入Leader选举

      1. 服务器初始化启动（第一次启动）
      2. 服务器运行期间无法和Leader保持连接（任何一台服务器出现问题，连不上leader，都会首先认为是lesder挂掉了，自己就会开始发起选举）

    2. 而当一台机器进入 Leader 选举流程时，当前集群也可能会处于以下两种状态：

      1. 集群中本来就已经存在一个Leader

        1. 此时 leader并没有坏，而是发起选举的那个服务器自己坏了，此服务器试图去选举Leader时，会被告知当前服务器的Leader信息
        2. 对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可

      2. 集群中确实不存在Leader

        1. 此时就是Leader 坏了，假设ZooKeeper由5台服务器组成， SID分别为1、 2、 3、 4、 5， ZXID分别为8、 8、 8、 7、 7，并且此时SID为3的服务器是 Leader。某一时刻，3 和 5 服务器出现故障，因此开始进行Leader选举

        2. 在服务器 1、2、4 之间重新选择一个 Leader 出来

        3. ⭐ Leader 选举规则如下：

          1. EPOCH（任期）大的直接胜出
          2. EPOCH相同，事务id（做的事多少）大的胜出
          3. 事务id相同，服务器id（序号）大的胜出

        4. 此时：

          			    EPOCH， ZXID， SID
服务器1：     1            8          1
服务器2：     1            8          2
服务器4：     1            7          4

        5. 选举结果：

          选取服务器 2 为 Leader

3.1.3 ZooKeeper集群脚本

  1. 在 hadoop102 的/home/cool/bin 目录下创建脚本

    [cool@hadoop102 zookeeper-3.5.7]$ cd /home/cool/bin/
[cool@hadoop102 bin]$ vim zk.sh

  2. 在脚本中编写如下内容

    #!/bin/bash
case $1 in
"start"){
	for i in hadoop102 hadoop103 hadoop104
	do
		echo ---------- zookeeper $i 启动 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh
start"
done
};;
"stop"){
	for i in hadoop102 hadoop103 hadoop104
	do
		echo ---------- zookeeper $i 停止 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh
stop"
done
};;
"status"){
	for i in hadoop102 hadoop103 hadoop104
	do
		echo ---------- zookeeper $i 状态 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh
status"
done
};;
esac

  3. 增加脚本执行权限

    [cool@hadoop102 bin]$ chmod u+x zk.sh

  4. Zookeeper 集群启动脚本

    [cool@hadoop102 zookeeper-3.5.7]$ zk.sh start
---------- zookeeper hadoop102 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop103 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop104 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

  5. Zookeeper 集群停止脚本

    [cool@hadoop102 bin]$ zk.sh stop
---------- zookeeper hadoop102 停止 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
---------- zookeeper hadoop103 停止 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
---------- zookeeper hadoop104 停止 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

3.2 客户端命令操作集群

3.2.1 命令行语法

  1. help：显示所有操作命令

  2. ls path：使用 ls 命令来查看当前 znode 的子节点 [可监听]

    1. -w 监听子节点变化（路径变化）
    2. -s 附加次级信息

  3. create：普通创建

    1. -s 含有序列
    2. -e 临时（重启或者超时消失）

  4. get path：获得节点的值 [可监听]

    1. -w 监听节点内容变化
    2. -s 附加次级信息

  5. set：设置节点的具体值

  6. stat：查看节点状态

  7. delete：删除节点

  8. deleteall：递归删除节点

  9. 启动客户端

    [cool@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh

  10. 显示所有操作命令

    [zk: localhost:2181(CONNECTED) 0] help

3.2.2 znode 节点数据信息

  1. 查看当前znode中所包含的内容

    [zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper]

  2. 查看当前节点详细数据

    [zk: localhost:2181(CONNECTED) 2] ls -s /
[zookeeper]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

    节点信息描述：

    1. czxid： 创建节点的事务 zxid

      每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生

    2. ctime： znode 被创建的毫秒数（从 1970 年开始）

    3. mzxid： znode 最后更新的事务 zxid

    4. mtime： znode 最后修改的毫秒数（从 1970 年开始）

    5. pZxid： znode 最后更新的子节点 zxid

    6. cversion： znode 子节点变化号， znode 子节点修改次数

    7. dataversion： znode 数据变化号

    8. aclVersion： znode 访问控制列表的变化号

    9. ephemeralOwner： 如果是临时节点，这个是 znode 拥有者的session id，如果不是临时节点则是 0

    10. dataLength： znode 的数据长度

    11. numChildren： znode 子节点数量

3.2.3 节点类型

  1. 分类1：

    1. 持久（Persistent） ：客户端和服务器端断开连接后， 创建的节点不删除
    2. 短暂（Ephemeral） ：客户端和服务器端断开连接后， 创建的节点自己删除

  2. 分类2：

    1. 无序号

    2. 有序号：创建znode时设置顺序标识， znode名称后会附加一个值， 顺序号是一个单调递增的计数器， 由父节点维护

      注意：在分布式系统中， 顺序号可以被用于为所有的事件进行全局排序， 这样客户端可以通过顺序号推断事件的顺序

  3. 节点分类：

    1. 持久化目录节点：客户端与Zookeeper断开连接后，该节点依旧存在
    2. 持久化顺序编号目录节点：客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
    3. 临时目录节点：客户端与Zookeeper断开连接后， 该节点被删除
    4. 临时顺序编号目录节点：客 户 端 与 Zookeeper 断 开 连 接 后 ， 该 节 点 被 删 除 ， 只 是Zookeeper给该节点名称进行顺序编号

    在这里插入图片描述

  4. 案例实操：

    1. 分别创建2个普通节点（永久节点 + 不带序号）

      //⭐注意：创建节点时，要赋值
//创建一个节点
[zk: localhost:2181(CONNECTED) 3] create /sanguo "diaochan"
Created /sanguo

[zk: localhost:2181(CONNECTED) 5] ls /
[sanguo, zookeeper]

//创建一个sanguo的子节点
[zk: localhost:2181(CONNECTED) 6] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo

[zk: localhost:2181(CONNECTED) 7] ls /
[sanguo, zookeeper]

    2. 获得节点的值

      //获得sanguo节点的值
[zk: localhost:2181(CONNECTED) 11] get /sanguo
diaochan

//查看sanguo节点详细信息  -s
[zk: localhost:2181(CONNECTED) 8] get -s /sanguo
diaochan
cZxid = 0x200000002
ctime = Thu Aug 19 20:41:23 CST 2021
mZxid = 0x200000002
mtime = Thu Aug 19 20:41:23 CST 2021
pZxid = 0x200000003
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1

//查看sanguo的子节点   
[zk: localhost:2181(CONNECTED) 9] get -s /sanguo/shuguo
liubei
cZxid = 0x200000003
ctime = Thu Aug 19 20:41:52 CST 2021
mZxid = 0x200000003
mtime = Thu Aug 19 20:41:52 CST 2021
pZxid = 0x200000003
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

    3. 创建带序号的节点（永久节点 + 带序号）

      1. 先创建一个普通的根节点/sanguo/weiguo

        [zk: localhost:2181(CONNECTED) 12] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo

      2. 创建带序号的节点 -s

        [zk: localhost:2181(CONNECTED) 13] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000000

      3. 查看

        [zk: localhost:2181(CONNECTED) 16] ls /sanguo/weiguo
[zhangliao0000000000]
    //该节点是带序号的

      4. 再执行一次刚刚的创建操作（带序号的节点是可以连续创建的）

        [zk: localhost:2181(CONNECTED) 17] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000001
    //如果原来没有序号节点，序号从 0 开始依次递增。 如果原节点下已有 1 个节点，则再排序时从 0001 开始，以此类推

      5. 查看

        [zk: localhost:2181(CONNECTED) 18] ls /sanguo/weiguo
[zhangliao0000000000, zhangliao0000000001]

    4. 创建短暂节点（短暂节点 + 不带序号 or 带序号）

      1. 创建短暂的不带序号的节点

        [zk: localhost:2181(CONNECTED) 19] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo

//短暂节点是不可以创建子节点    
[zk: localhost:2181(CONNECTED) 20] create -e -s /sanguo/wuguo/xiaoqiao "xiaoqiao"
Ephemerals cannot have children: /sanguo/wuguo/xiaoqiao

      2. 创建短暂的带序号的节点

        [zk: localhost:2181(CONNECTED) 21] create -e -s /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo0000000003

      3. 在当前客户端是能查看到的

        [zk: localhost:2181(CONNECTED) 22] ls /sanguo
[shuguo, weiguo, wuguo, wuguo0000000003]

      4. 退出当前客户端然后再重启客户端

        [zk: localhost:2181(CONNECTED) 23] quit
[cool@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh

      5. 再次查看根目录下短暂节点已经删除

        [zk: localhost:2181(CONNECTED) 0] ls /
[sanguo, zookeeper]

    5. 修改节点数据值

      [zk: localhost:2181(CONNECTED) 1] get /sanguo
diaochan

//修改
[zk: localhost:2181(CONNECTED) 3] set /sanguo "qhj"

[zk: localhost:2181(CONNECTED) 4] get /sanguo
qhj

3.2.4 监听器原理

客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、节点删除、子目录节点增加删除）时， ZooKeeper 会通知客户端。监听机制保证 ZooKeeper 保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序

  1. 常见的监听

    1. 监听节点的数据变化：get path [watch]
    2. 监听子节点增减的变化：ls path [watch]

  2. 监听原理详解

    在这里插入图片描述

    1. 首先要有一个 main( ) 线程
    2. 在 main 线程中创建 Zookeeper 客户端，这时就会创建两个线程， 一个负责网络连接通信（connet） ，一个负责监听（listener）
    3. 通过 connect 线程将注册的监听事件发送给 Zookeeper
    4. 在 Zookeeper 的注册监听器列表中将注册的监听事件添加到列表中
    5. Zookeeper 监听到有数据或路径变化，就会将这个消息发送给listener线程
    6. listener 线程内部调用了 process( ) 方法

  3. 实操案例：

    1. 节点的值变化监听

      1. 在 hadoop104 主机上注册监听/sanguo 节点数据变化

        [zk: localhost:2181(CONNECTED) 0] get -w /sanguo
qhj

      2. 在 hadoop103 主机上修改/sanguo 节点的数据

        [zk: localhost:2181(CONNECTED) 0] set /sanguo "xisi"

      3. 观察 hadoop104 主机收到数据变化的监听

        [zk: localhost:2181(CONNECTED) 1] 
WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

        注意：

        1. 在hadoop103再多次修改 /sanguo的值，hadoop104上不会再收到监听
        2. 因为注册一次，只能监听一次。想再次监听，需要再次注册

    2. 节点的子节点变化监听（路径变化）

      1. 在 hadoop104 主机上注册监听/sanguo 节点的子节点变化

        [zk: localhost:2181(CONNECTED) 1] ls -w /sanguo
[shuguo, weiguo]

      2. 在 hadoop103 主机/sanguo 节点上创建子节点

        [zk: localhost:2181(CONNECTED) 1] create /sanguo/jin "simayi"
Created /sanguo/jin

      3. 观察 hadoop104 主机收到子节点变化的监听

        [zk: localhost:2181(CONNECTED) 2]
WATCHER::

WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

        注意：

        节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册

3.2.5 节点的删除与查看

  1. 删除节点

    [zk: localhost:2181(CONNECTED) 2] delete /sanguo/jin

[zk: localhost:2181(CONNECTED) 4] ls /sanguo
[shuguo, weiguo]

  2. 递归删除节点

    [zk: localhost:2181(CONNECTED) 6] deleteall /sanguo/shuguo
[zk: localhost:2181(CONNECTED) 7] ls /sanguo
[weiguo]

  3. 查看节点状态

    [zk: localhost:2181(CONNECTED) 8] stat /sanguo
cZxid = 0x200000002
ctime = Thu Aug 19 20:41:23 CST 2021
mZxid = 0x20000000f
mtime = Thu Aug 19 22:10:01 CST 2021
pZxid = 0x200000014
cversion = 9
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1

3.3 客户端 API 操作集群

  1. 创建maven工程

  2. 添加pom文件

    <dependencies>
	<dependency>
		<groupId>junit</groupId>
		<artifactId>junit</artifactId>
		<version>RELEASE</version>
	</dependency>
	<dependency>
		<groupId>org.apache.logging.log4j</groupId>
		<artifactId>log4j-core</artifactId>
		<version>2.8.2</version>
	</dependency>
	<dependency>
		<groupId>org.apache.zookeeper</groupId>
		<artifactId>zookeeper</artifactId>
		<version>3.5.7</version>
	</dependency>
</dependencies>

  3. 在src/main/resources下添加log4j.properties文件

    log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

  4. zkClient类

    public class zkClient  {
    //设置连接时限
    private int sessionTimeout = 2000;
    //设置要连接的zookeeper地址（没有设置主机映射hosts时，需要写IP地址）
    private String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    private ZooKeeper zooClient;

    //⭐创建客户端
    @Before
    public void init() throws IOException {
        zooClient = new ZooKeeper(connectString,sessionTimeout, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                //将注册放在此处的话，每完成一个监听事件后，就会接着注册一个新的监听
                System.out.println("================注册新的监听======================");
                List<String> children = null;
                try {
                    children = zooClient.getChildren("/", true);
                    for (String child : children) {
                        System.out.println(child);
                    }
                } catch (KeeperException e) {
                    e.printStackTrace();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        });
    }

    //⭐创建节点
    @Test
    public void create() throws InterruptedException, KeeperException {
        //传入的参数依次为：（节点创建路径，数据内容-字节型，权限，节点类型）
        String nodeCreate = zooClient.create("/cool", "qhj.txt".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

    //⭐注册监听
    @Test
    public void getChildren() throws InterruptedException, KeeperException {
        //注册放在这里，会存在一个问题：一次注册只能监听一次，后续的操作并不会被监听到
        //传入的参数依次为：（要监听哪个路径，监听器-如果为true则使用创建客户端时传入的那个Watcher，也可以自己再new）
        List<String> children = zooClient.getChildren("/", true);
        for (String child : children) {
            System.out.println(child);
        }
        //延时（不让监听停止，保证后续集群操作可以被监听到）
        Thread.sleep(Long.MAX_VALUE);
    }

    //⭐判断znode节点是否存在
    @Test
    public void exit() throws InterruptedException, KeeperException {
        //此处没有开启监听
        Stat stat = zooClient.exists("/coolcool", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }
}

  5. 测试结果：

    1. 启动zookeeper

    2. 删除、添加节点

    3. 在IDEA控制台查看打印信息

      在这里插入图片描述

3.4 客户端向服务端写数据流程

  1. 写流程之写入请求直接发送给Leader节点

    在这里插入图片描述

  2. 写流程之写入请求发送给follower节点

    在这里插入图片描述

coolcoo1cool
关注
专栏目录
Zookeeper实现原理分析
qq_43752469的博客
12-12 2638
一、zookeeper概述 1、zookeeper：是一个开源的、分布式的，为分是不是框架提供协调服务的Apache框架。 2、zookeeper工作机制：基于观察者模式设计的分布式服务管理框架，负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦数据状态发生变化，zookeeper将负责通知已经在zookeeper上注册的那些观察者做出相应的反应。 3、zookeeper特点： 一个领导者leader，多个跟随着follower组成的集群。 集群中只要有半数以上节点存活，zookeeper集群就能
Zookeeper笔记
qq_52581566的博客
05-02 814
文章目录zookeeper介绍1.zookeeper特点2.数据结构3.应用场景zookeeper安装和配置rsync的安装xsync调用rsync一、zookeeper执行的含义：1.1节点含义1.2监听器原理二、有关面试2.1选举机制2.2生产集群安装多少zk合适2.3常用命令三、算法基础3.1ZAB协议3.1.1 什么是ZAB算法3.1.2 Zab协议内容消息广播：崩溃恢复：leader选举崩溃恢复：数据恢复CAB理论四、源码解析1.服务端初始化源码图2.ZK服务端加载数据源码解析3.编辑日志和快照4
【大数据面试】【框架】Zookeeper作用、半数机制、命令、安装台数
USTSD的博客
12-11 163
〇、作用 存储和管理数据 Zookeeper=文件系统+通知机制 树形结构，每个节点被称为一个Znode(1MB) 一、半数机制 1、注意 安装奇数台(4台) 二、常用命令 ls get create 2、客户端命令行操作 查看子节点：ls path 获得节点的值：get path 递归删除节点：deleteall 或 rmr /sanguo/shuguo 创建短暂节点： create -e ...
Zookeeper集群
qq_36331657的博客
02-02 977
zookeeper有两种工作的模式，一种是单机方式，另一种是集群方式； Zookeeper作为一个服务，它本身也可能发生故障，所以我们需要将Zookeeper进行集群，避免单点故障问题，以保证zookeeper本身的高可用性； Zookeeper集群特点 Zookeeper集群有三个角色，一个leader（领导者），一个follower（跟随者），一个observer（观察者）； 集群中只要有 超...
Zookeeper 3.8.4 安装和参数解析
最新发布
兮动人
09-17 1992
Zookeeper 3.8.4 安装和参数解析
Zookeeper集群节点数量为什么要是奇数个？
热门推荐
u010476994的博客
04-03 2万+
无论是公司的生产环境，还是自己搭建的测试环境，Zookeeper集群的节点个数都是奇数个。至于为什么要是奇数个，以前只是模糊的知道是为了满足选举需要，并不知道详细的原因。最近重点学习zookeeper，了解到其中的原理，现将其整理记录下来。首先需要明确zookeeper选举的规则：leader选举，要求 可用节点数量 &gt; 总节点数量/2 。注意 是 &gt; , 不是 ≥。注：为什么规则要...
zookeeper 集群搭建
骑着蜗牛向前跑的博客
06-02 229
搭建 zookeeper 集群
ZooKeeper 集群最少要几台服务器，为什么？
dd2016124的博客
02-24 8428
集群规则为：2N + 1 台，N > 0，即最少需要 3 台。 因为 ZK 集群的机制是只要超过半数的节点正常，集群就能正常提供服务。 只有在 ZK 节点挂的太多，只剩一半或不到一半节点能工作，集群才失效。 如： 3 个节点的 cluster 可以挂掉一个节点（leader 可以得到 2 票 > 1.5） 2 个节点的 cluster 就不能挂掉任何一个节点了（leader 可以得到 1 票 <= 1） ...
vertx-zookeeper:Zookeeper Vert.x 集群管理器
06-06
10. **最佳实践**：在实际应用中，需要考虑Zookeeper集群的规模、网络延迟以及安全性等因素，合理设计和使用Vert.x Zookeeper，以确保系统的高效稳定运行。 总之，Vert.x Zookeeper通过结合Vert.x的事件驱动架构和...
zookeeper集群.rar
04-17
- `server.{id}`: 定义集群中的服务器，`{id}`是服务器标识，每个服务器的id应不同，例如`server.1=localhost:2888:3888`、`server.2=server2_ip:2888:3888`、`server.3=server3_ip:2888:3888`。这里的2888是选举...
zookeeper集群安装.doc
05-27
Zookeeper集群安装 Zookeeper是一个分布式应用程序协调服务，它提供了高效、可靠、稳定的分布式协调服务，可以帮助开发者快速构建可靠的分布式应用程序。在这个文档中，我们将详细介绍如何安装和配置Zookeeper集群...
dubbo_ZooKeeper安装.zip
08-13
在分布式服务框架中，Dubbo 和 ZooKeeper 是两...在实际生产环境中，你可能还需要考虑ZooKeeper集群的部署、安全性设置以及监控等更复杂的话题。不过，这个基础的安装过程已经足够让你开始使用ZooKeeper与Dubbo的集成。
Linux安装zookeeper集群.docx
01-28
Linux安装zookeeper集群部署文档
zookeeper常识
qq_43066945的博客
08-10 411
Zookeeper集群选举机制： 第一次启动： 投票过半数时，服务器id大的作为leader 第二次启动选举规则： epoch（leader任期的意思） Epoch大的直接成为leader Epoch相同，事务id大的成为leader 事务id相同，服务器id大的成为leader 生产集群安装多少zookeeper合适： 奇数台 生产经验：（最佳） 10台服务器装3台zookeeper 20台服务器装5台zookeeper 100台服务器装11台zookeeper 200台服务器装11台zookeeper
Kafka与zookeeper集群配置安装（Zk集群至少三台）
hhhhhhhhhhhnb的博客
05-25 1809
1、上传解包 tar -zxvf kafka_2.12-2.7.1.tgz -C /usr/hadoop/ 2、Kafka配置 主要的配置项： broker.id=1 log.dirs=/usr/hadoop/kafka_2.12-2.7.1/logsdata zookeeper.connect=localhost:2181 3、kafka的相关管理脚本： 启动测试后，发现只有broker.id=1的主机上线，2号机器没安装 分发配置好的kafka：1号...
Zookeeper的介绍与集群搭建
北辰
09-30 807
Zookeeper从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式(即主从管理模式)。6、znode可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个是Zookeeper的核心特性。除非有另外一个事务对其更改。
Zookeeper
BlueProtocolBlog
02-15 554
什么是Zookeeper? Zookeeper是一个开源的分布式的，为其他分布式监控提供协调服务的Apache项目。
ZK集群搭建
sinat_26229211的博客
07-11 328
在搭建zk集群之前,首先需要准备好3台虚拟机.因为zk的集群中存在leader选择的操作,需要集群中超过半数的机器同意,因此机器数量需要2n+1台. 1安装jdk. 下jdk-8u191-linux-x64.tar.gz,并上传到服务器相应目录下 使用 tar -xvf 进行解压 配是环境变量 sudo vi /etc/profile 在最下面加上 export JAVA_HOME=自己安装jdk...
搭建zookeeper集群
wwwwww33的博客
11-19 203
1、部署四台虚拟机（这里以四台为例，实际运用集群机器数应该是奇数台），先按照https://blog.csdn.net/wwwwww33/article/details/103097108部署好网络配置，修改好hosts文件： 2、安装jdk，vim /etc/profile 修改配置文件，增加如下配置: 3、下载zookeeper（zookeeper.apache.org）; 4、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值