Zookeeper原理与集群_zookeeper集群原理，2024年最新全套学习

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server 具有相同的系统状态。

Zookeeper就状态同步过程如下：

1. Leader election(选举阶段)：节点在一开始都处于选举阶段，只要有一个节点得到超过半数节点的票数，它就可以当选准 Leader。
2. Discovery(发现阶段)：在这个阶段，Followers跟准Leader进行通信，同步Followers最近接收的事务提议。
3. Synchronization(同步阶段)：同步阶段主要是利用Leader前一阶段获得的最新提议历史，同步集群中所有的副本。同步完成之后准Leader才会成为真正的Leader。
4. Broadcast(广播阶段)： 到了这个阶段，Zookeeper集群才能正式对外提供事务服务，并且Leader 可以进行消息广播。同时如果有新的节点加入，还需要对新节点进行同步。

watch机制

ZooKeeper支持一种Watch操作，Client可以在某个ZNode上设置一个Watcher，来Watch该ZNode上的变化。如果该ZNode上有相应的变化，就会触发这个Watcher，把相应的事件通知给设置Watcher的Client。需要注意的是，ZooKeeper中的Watcher是一次性的，即触发一次就会被取消，如果想继续Watch的话，需要客户端重新设置Watcher。

watch机制的特点：

1. 一次性触发数据发生改变时，一个watcher event会被发送到client， 但是client只会收到一次这样的信息。
2. watcher event异步发送watcher的通知事件从server发送到client是 异步的，这就存在一个问题，不同的客户端和服务器之间通过socket进 行通信，由于网络延迟或其他因素导致客户端在不通的时刻监听到事件， 由于Zookeeper本身提供了 ordering guarantee，即客户端监听事件后， 才会感知它所监视znode发生了变化。所以我们使用Zookeeper不能期 望能够监控到节点每次的变化。Zookeeper只能保证最终的一致性，而无 法保证强一致性。
3. 数据监视Zookeeper有数据监视和子数据监视getdata() and exists()设置数据监视，getchildren()设置了子节点监视。
4. setData()执行成功则会触发znode上设置的data watch。一个 成功的create()操作会触发被创建的znode上的数据watch，以及其父节 点上的child watch。而一个成功的delete。操作将会同时触发一个znode 的data watch和child watch(因为这样就没有子节点了)，同时也会触发其 父节点的child watch。
5. 当一个客户端连接到一个新的服务器上时，watch将会被以任意会话 事件触发。当与一个服务器失去连接的时候，是无法接收到watch的。而 当client重新连接时，如果需要的话，所有先前注册过的watch，都会被 重新注册。通常这是完全透明的。只有在一个特殊情况下，watch可能会 丢失：对于一个未创建的znode的exist watch，如果在客户端断开连接期 间被创建了，并且随后在客户端连接上之前又删除了，这种情况下，这个 watch事件可能会被丢失。
6. Watch是轻量级的，其实就是本地JVM的Callback，服务器端只是存 了是否有设置了 Watcher的布尔类型

数据复制

Zookeeper作为一个集群提供一致的数据服务，自然，它要在所有机器间 做数据复制。

数据复制的好处：

1. 容错：一个节点出错，不致于让整个系统停止工作，别的节点可以接管它的工作；
2. 提高系统的扩展能力：把负载分布到多个节点上，或者增加节点来提高系统的负载能力；
3. 提高性能：让客户端本地访问就近的节点，提高用户访问速度。

从客户端读写访问的透明度来看，数据复制集群系统分下面两种：

1. 写主（WriteMaster）：对数据的修改提交给指定的节点。读无此限制，可 以读取任何一个节点。这种情况下客户端需要对读与写进行区别，俗称读 写分离；
2. 写任意（Write Any）：对数据的修改可提交给任意的节点，跟读一样。这 种情况下，客户端对集群节点的角色与变化透明。

对Zookeeper来说，它采用的方式是写任意。通过增加机器，它的读吞吐 能力和响应能力扩展性非常好，而写，随着机器的增多吞吐能力肯定下降（这也是它建立observer的原因），而响应能力则取决于具体实现方式，是延迟复制保持最终一致性，还是立即复制快速响应。

数据存储

• DataTree：DataTree是内存数据存储的核心，是一个树结构，代表了内存中一份完整的数据。DataTree不包含任何与网络、客户端连接及请求处理相关的业务逻辑，是一个独立的组件。
• DataNode：DataNode是数据存储的最小单元，其内部除了保存了结点的数据内容、ACL列表、节点状态之外，还记录了父节点的引用和子节点列表两个属性，其也提供了对子节点列表进行操作的接口。
• ZKDatabase：Zookeeper的内存数据库，管理Zookeeper的所有会话、DataTree存储和事务日志。ZKDatabase会定时向磁盘dump快照数据，同时在Zookeeper启动时，会通过磁盘的事务日志和快照文件恢复成一个完整的内存数据库。

ZooKeeper Client API

ZooKeeper Client Library提供了丰富直观的API供用户程序使用，下面是一些常用的API：

• create(path, data, flags): 创建一个ZNode, path是其路径，data是要存储在该ZNode上的数据，flags常用的有: PERSISTEN, PERSISTENT_SEQUENTAIL, EPHEMERAL, EPHEMERAL_SEQUENTAIL
• delete(path, version): 删除一个ZNode，可以通过version删除指定的版本, 如果version是-1的话，表示删除所有的版本
• exists(path, watch): 判断指定ZNode是否存在，并设置是否Watch这个ZNode。这里如果要设置Watcher的话，Watcher是在创建ZooKeeper实例时指定的，如果要设置特定的Watcher的话，可以调用另一个重载版本的exists(path, watcher)。以下几个带watch参数的API也都类似
• getData(path, watch): 读取指定ZNode上的数据，并设置是否watch这个ZNode
• setData(path, watch): 更新指定ZNode的数据，并设置是否Watch这个ZNode
• getChildren(path, watch): 获取指定ZNode的所有子ZNode的名字，并设置是否Watch这个ZNode
• sync(path): 把所有在sync之前的更新操作都进行同步，达到每个请求都在半数以上的ZooKeeper Server上生效。path参数目前没有用
• setAcl(path, acl): 设置指定ZNode的Acl信息
• getAcl(path): 获取指定ZNode的Acl信息

Zookeeper安装

1. 下载

下载地址：https://zookeeper.apache.org/releases.html#download
2. 解压缩(我是放在/usr/local/zk目录下)

tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
3. 修改zookeeper配置

#zookeeper根目录改个名字
mv apache-zookeeper-3.6.3-bin zookeeper
#进入conf目录下
cd zookeeper/conf
#zookeeper的配置文件zoo.cfg，可复制conf/zoo_sample.cfg
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
#修改内容
dataDir=/usr/local/zk/zookeeper/data  
dataLogDir=/usr/local/zk/zookeeper/log  
#添加内容(节点地址:同步端口:选举端口) 
server.1=192.168.124.18:2881:3881  
server.2=192.168.124.18:2882:3882  
server.3=192.168.124.18:2883:3883

4. 配置环境变量

vi /etc/profile
#添加以下内容
#export ZOOKEEPER=/usr/local/zk/zookeeper
#export PATH=$PATH:$ZOOKEEPER/bin

#使其生效
source /etc/profile

5. 创建myid文件

mkdir -p /usr/local/zk/zookeeper/zkdata
cd  /usr/local/zk/zookeeper/zkdata  
echo 1 > myid

6. 分发安装包到其他机器(我这里在单机模拟集群)
   cp -r zookeeper zookeeper2

cp -r zookeeper zookeeper3
7. 修改其他机器的配置文件
在zookeeper2上：
vim /usr/local/zk/zookeeper2/zkdata/myid
修改myid为：2

在zookeeper3上：
vim /usr/local/zk/zookeeper2/zkdata/myid
修改myid为：3

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

取：vip204888 （备注大数据）**
[外链图片转存中…(img-BMvmnyvq-1713333702246)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！