zookeeper_zknlmh-CSDN博客

本文链接：https://blog.csdn.net/weixin_45517802/article/details/115176083

概述

zookeeper是一个开源的分布式的，为分布式应用提供协调服务的apache项目

历史背景

所有的计算任务都由一台计算机完成，数据的存储也由一台计算机完成

数据存储的方式

将数据存放在多块磁盘肯定能解决io瓶颈的问题
全量备份：

好处：有效的缓解了IO的问题
缺点：不利于数据的扩充

zookeeper的工作机制

zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，zookeeper就将负责通知已经在zookeeper上注册的哪些观察者做出相应的反应。

特点

1.一个领导者，多个跟随着组成的集群。

2.集群中只要有半数以上节点存活，zookeeper集群就能正常、服务。

3.全局数据一致：每个Server保存一份相同的数据副本，client无论连接到哪个Server，数据都是一致的。

4.更新请求顺序进行，来自同一个client更新请求按其发送顺序依次执行。

5.数据更新原子性，一次数据更新要么成功，要么失败。

6.实时性：在一定时间范围内，client能读到最新的数据

数据的一致性

强一致性

所有的读写操作都按照全局时钟下的顺序执行，且任何时刻线程读取到的缓存数据都是一样的
假如更新一次数据，所有的存储节点都要更新数据
而且必须等待所有的节点更新完成才能继续进行读写操作
写入数据的时候节点被所有，数据不能被读取

弱一致性

读取数据的时候，不需要是最新的，只要能读到就行
不能保证任何一次读都能读到最近一次写入的数据，但能保障最终可以读到写入的数据。

顺序一致性

多个线程的整体执行可能是无序的，但对于单个线程而言执行是有序的，要保证任何一次读都能读到最近一次写入的数据
任何一次读都能读到某个数据的最近一次写的数据
系统的所有进程的顺序一致，而且是合理的，即不需要和全局时钟下的顺序一致，错的话一起错，对的话一起对。

数据结构

zookeeper数据模型的结构与unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个znode，每一个zonode默认能够存储1mb的数据，每个znode都可以通过器路径唯一标识。

应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡。

1.统一命名服务
在分布式环境下，经常需要对应用服务进行统一命名，便于识别。例如（ip不容易记住，而域名容易记住）

2.统一配置管理

一般要求一个集群中，所有节点的配置信息是一致的，比如kafka集群。
对配置文件修改后，希望能够快速同步到各个节点上。
可将配置信息写入zookeeper上的一个znode
各个客户端服务器监听这个znode
一旦znode中的数据被修改，zookeeper将通知各个客户端服务器。

3.统一集群管理

可根据节点实时状态做出一些调整。
可将节点信息写入zookeeper上的一个znode。
监听这个znode可获得它的实时状态变化。

4.服务器动态上下线
客户端能实时洞察到服务器上下线的变化

5.软负载均衡
在zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

下载

官网地址：https://zookeeper.apache.org/
在这里插入图片描述

安装

1.安装jdk:https://blog.csdn.net/hua_faded/article/details/80535870
2.安装zookeeper:Linux安装zookeeper

在这里插入图片描述

将/usr/local/zookeeper/apache-zookeeper-3.6.2-bin/conf这个路径下的zoo_sample.cfg修改为zoo.cfg;
打开zoo.cfg文件，修改dataDir路径
修改好后，按esc键，再按 “：”+“wq”+回车键，保存退出
在/usr/local/zookeeper/apache-zookeeper-3.6.2-bin 这个目录上创建zkData文件夹
启动Zookeeper
查看进程是否启动
查看状态
启动客户端 bin/zkCli.sh
退出客户端 quit
停止Zookeeper :bin/zkServer.sh stop

配置参数解读

tickTime=2000,两秒一次心跳
initLimit=10,初始通信时限
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数，用它来限定集群中的Zookeeper服务器连接到leader的时限
syncLimit=5,同步通信时限
集群中Leader与Follower之间的最大相应时间单位，假如响应超过syncLimit.
clientPort=2181,客户端端口
监听客户端连接的端口
dataDir:数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据

选举机制

半数机制
集群中半数以上机器存活，集群可用，所以Zookeeper适合安装奇数台服务器。
Zookeeper虽然在配置文件中并没有指定master和slave但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower,Leader是通过内部的选举机制临时产生的。
以一个简单的例子来说明整个选举的过程
假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的假设这些服务器依序启动，来看看会发生什么。
服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是Looking状态。
服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上，所以也不行。

节点类型

持久：客户端和服务器端断开连接后，创建的节点不删除。

客户端与Zookeeper断开连接后，该节点依旧存在

客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号

说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计算器，，由父节点维护。

注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。

短暂：客户端和服务端断开连接后，创建的节点自己删除。

分布式安装部署

客户端的命令行操作

命令基本语法	功能描述
help	显示所有操作命令
ls path [watch]	使用ls命令来查看当前znode中所包含的内容
ls2 path [watch]	查看当前节点数据并能看到更新次数等数据
create	普通创建 -s 含有序列 -el 临时（重启或者超时消失）
get path [watch]	获得节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点

Stat 结构体

czxid-创建节点的事务zxid
每次修改zookeeper状态都会收到一个zxid形式的时间戳，也就是zookeeper事务id,事务id是zookeeper中所有修改总的次序，每个修改都有唯一的zxid如果zxid1小于zxid2,那么zxid1在zxid2之前发生。
ctime-znode被创建的毫秒数（从1970年开始）
mzxid-znode最后更新的事务zxid
mtime-znode最后修改的毫秒数（从1970年开始）
pzxid-znode最后更新的子节点zxid
cversion-znode子节点变化号，znode子节点修改次数
dataversion-znode数据变化号
aclversion-znode访问控制列表的变化号
ephemeralowner如果是临时节点，这个是znode拥有着的session id 如果不是临时节点则是0
dataLength-znode的数据长度
numChildren-znode子节点数量

监听器的原理

首先要有一个main(）线程
在main()线程中创建zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信，一个负责监听
通过connect线程将注册的监听事件发送给zookeeper
在zookeeper的注册监听器列表中将注册的监听事件添加到列表中
zookeeper监听到有数据或路径变化，就会将这个小心发送给listener线程
listener线程内部调用了process(）方法

常见的监听

监听节点数据的变化：get path [watch]
监听子节点增减变化：ls path [watch]

写数据流程

client向 zookeeper的server1上写数据，发送一个写请求。
如果Server1不是 Leader,那么Server1 会把接受到的请求进一步转发给Leader，因为每个zookeeper 的Server里面有一个是Leader.这个Leader会将写请求广播给各个Server，比如Server1和Server2,各个Server写成功后就会通知Leader。
当Leader收到大多数Server数据写成功了，那么就说明数据写成功了。如果这里三个节点的话，只要有两个节点数据写成功了，那么桔认为数据写成功了，写成功之后，Leader会告诉Server数据写成功了。
Server1会进一步通知client数据写成功了，这时就认为整个写操作成功。