Zookeeper知识整理

最新推荐文章于 2024-03-10 19:28:54 发布

落木萧潇

最新推荐文章于 2024-03-10 19:28:54 发布

阅读量159

点赞数

分类专栏： zookeeper

本文链接：https://blog.csdn.net/W_ryxj000/article/details/114419152

版权

zookeeper 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Zookeeper = 文件系统 + 通知机制

特点

Zookeeper：一个领导者(Leader)，多个跟随者(Follower)，组成的集群。
集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
数据更新原子性，一次数据更新要么成功，要么失败。
实时性，在一定时间范围内，Client能读到最新数据。

应用场景

统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡

相关命令

#zk启动
[wmj]$ bin/zkServer.sh start
#停止Zookeeper
[wmj]$ bin/zkServer.sh stop
#查看进程是否启动
[wmj]$ jps
#查看状态 进入到 zookeeper-3.4.**目录下
[wmj]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: ****/bin/../conf/zoo.cfg #使用的配置文件
Mode: leader #他是一个leader
#启动客户端
[wmj]$ bin/zkCli.sh
#退出客户端
[zk: localhost:2181(CONNECTED) 0] quit
#停止zk
[wmj]$ bin/zkServer.sh stop
#客户端命令行操作
#启动客户端
[wmj]$ bin/zkCli.sh
#显示所有操作命令
[zk: *** 1] help
#查看当前znode中所包含的内容
[zk: *** 1] ls /
#查看当前节点详细数据
[zk: *** 1] ls2 /
#分别创建2个普通节点
[zk: *** 1] create /sanguo "jinlian"
#获得节点的值
[zk: *** 1] get /sanguo
[zk: *** 1] get /sanguo/shuguo
#创建短暂节点
[zk: *** 1] create -e /sanguo/wuguo
#创建带序号的节点
[zk: *** 1] create -s /sanguo/weiguo/xiaoqiao "jinlian"
#修改节点数据值
[zk: *** 1] set /sanguo/weiguo "simayi"
#节点的值变化监听
[zk: *** 1] get /sanguo watch
#节点的子节点变化监听（路径变化）
[zk: *** 1] ls /sanguo watch
#删除节点
[zk: *** 1] delete /sanguo/jin
#递归删除节点
[zk: *** 1] rmr /sanguo/shuguo
#查看节点状态
[zk: *** 1] stat /sanguo
#退出客户端
[zk: *** 1] quit

配置参数解读

进入到zoo.cfg中有以下几个关键参数

# 通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
tickTime=2000
# LF初始通信时限,集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
initLimit=10
# LF同步通信时限,集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
syncLimit=5
# 数据文件目录+数据持久化路径
dataDir=/opt/module/zookeeper-3.4.10/zkData
# 客户端连接端口  监听客户端连接的端口。
clientPort=2181

# server.A=B:C:D。
# A是一个数字，表示这个是第几号服务器；
# 集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
# B是这个服务器的ip地址；
# C是这个服务器与集群中的Leader服务器交换信息的端口；
# D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

选举机制

半数机制：集群中半数以上机器存活，集群可用。所以 Zookeeper 适合安装奇数台服务器。例如，5台服务器有3台存活，集群可用，而只有2台存活，集群不可用。
Zookeeper 虽然在配置文件中并没有指定 Master 和 Slave。但是， Zookeeper 工作时，是有一个节点为 Leader，其他则为 Follower， Leader 是通过内部的选举机制临时产生的。
- 例子：5台机器依次启动，1启动，选举无法完成；2启动未达到半数，选举无法完成；3启动，超过半数，3为Leader，1、2为Follower,4、5为Follower。

监听器原理

首先要有一个main()线程
在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（ connet ），一个负责监听（ listener ）。
通过connect线程将注册的监听事件发送给Zookeeper。
在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。
listener线程内部调用了process()方法。

写数据流程

Client 向 ZooKeeper 的Server1 上写数据，发送一个写请求。
如果Server1不是Leader，那么Server1 会把接受到的请求进一步转发给Leader，因为每个ZooKeeper的Server里面有一个是Leader。这个Leader 会将写请求广播给各个Server，比如Server1和Server2，各个Server会将该写请求加入待写队列，并向Leader发送成功信息。
当Leader收到半数以上 Server 的成功信息，说明该写操作可以执行。Leader会向各个Server 发送提交信息，各个Server收到信息后会落实队列里的写请求，此时写成功。
Server1会进一步通知 Client 数据写成功了，这时就认为整个写操作成功。

参考视频