zookeeper学习笔记之-Zookeeper集群同步数据原理

最新推荐文章于 2023-02-21 08:32:48 发布
最新推荐文章于 2023-02-21 08:32:48 发布
阅读量551 收藏 3
点赞数
分类专栏： zookeeper学习笔记 文章标签： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huanglei_hacker/article/details/107582585
版权
本文详细介绍了Zookeeper集群中Leader和Learner的数据同步过程。在服务器启动后，统一Epoch并开始数据同步，通过比较和交换ZXID来确保数据一致性。同步策略包括根据Learner和Leader的ZXID差异进行日志回滚、部分日志传输或快照同步。此外，还涉及到CommittedLog队列、日志文件和快照的角色。
摘要由CSDN通过智能技术生成

Leader和Learner什么时候开始同步数据

当服务器启动时，完成了领导者选举后，确定了服务器的角色后（比如Leader、Follower、Observer），会先统一Epoch，然后就开始数据同步，最后再构造RequestProcessor，处理客户端的请求。

 

 

  1. Learner节点向Leader发送LearnerInfo数据(包含了acceptEpoch)，然后等待Leader响应
  2. Leader不停的从Learner节点接收到发送过来的LearnerInfo数据，比较Epoch，超过过半机制后统一epoch
  3. Leader同一Epoch后，向Learner节点，发送LEADERINFO数据（包含了新的epoch）,等待接收ACKEPOCH数据
  4. Learner节点接收到LEADERINFO数据后，修改自己的epoch，然后发送ACKEPOCH数据给Leader
  5. 当Leader节点接收到了大部分的ACKEPOCH数据后，就开始同步数据，Learner节点阻塞等待Leader节点发送数据过来进行同步
  6. Leader节点整理要同步的数据，把这些数据先会添加到queuedPackets队列中去，并且往队列中添加了一个NEWLEADER数据
  7. Leader节点开启一个线程，从queuedPackets队列中获取数据进行同步
  8. Learner节点接收数据进行同步，同步完之后，会接收到一个NEWLEADER数据，并返回给Leader一个ACK数据
  9. Leader节点接收到了超过一半的ack后，则运行一个while，负责从Learner接收命令
    10.Leader节点启
最低0.47元/天 解锁文章
土豆rose
关注
专栏目录
Zookeeper 集群如何实现数据一致性和顺序性原理？
将臣三代的博客
06-19 1777
一致性保证：通过领导节点的统一处理，保证了所有写请求的顺序性和一致性。事务确认机制：通过多数派确认（majority acknowledgment）机制，确保事务在提交前已被大多数节点接受，从而保证了数据的强一致性。高可用性：即使在部分节点故障的情况下，只要大多数节点存活，集群仍然能够继续服务。通过上述机制，Zookeeper 能够在分布式环境下实现数据的完整性和一致性，确保系统在面对网络分区和节点故障时仍然能够稳定运行。重试机制。
zookeeper的数据同步机制
qq_44802992的博客
03-02 1786
zookeeper的数据同步机制 zookeeper 的数据同步是为了保证各节点中数据的一至性，同步时涉及两个流程，一个是正常的客户端数据提交，另一个是集群某个节点宕机在恢复后的数据同步。 客户端写入请求： 写入请求的大至流程是，收leader接收客户端写请求，并同步给各个子节点。如下图： 但实际情况要复杂的多，比如client 它并不知道哪个节点是leader 有可能写的请求会发给follower ，由follower在转发给leader进行同步处理，如下图所示 客户端写入流程说明： client
Zookeeper之数据同步原理
kylin
04-25 5455
Zookeeper数据同步 zk通过三种不同的 集群角色来组成整个高性能集群，在zk中，客户端会随机连接到zk集群中的一个节点，如果是读请求，就直接从当前节点中读取数据，如果是写请求，那么请求会被转发给leader提交事务，然后leader会广播事务，只要超过半数节点写入成功，那么写请求就会被提交（类2PC事务，2PC是全数节点ok) 问题： 集群的leader节点如何选举出来？ lea...
使用 ZooKeeper 同步集群配置
weixin_34104341的博客
12-10 130
用 ZooKeeper 同步集群配置，当需要修改所有节点配置时，将配置更新到 ZooKeeper 的一个节点，引起这个节点数据发生变化， 其他所有需要同步配置的节点上的本地 Watcher 会立即发现节点状态的变化，并将最新数据更新到本地   把官方Demo 改了改，响应 Watcher 时用 ConfFileUtil 更新一下本地配置就可以了   [java] view pla...
ZooKeeper学习之路 （八）ZooKeeper原理解析
weixin_34037977的博客
03-24 180
ZooKeeper中的各种角色 ZooKeeper与客户端 　　每个Server在工作过程中有三种状态：　　　　LOOKING：当前Server不知道leader是谁，正在搜寻　　　　LEADING：当前Server即为选举出来的leader　　　　FOLLOWING：leader已经选举出来，当前Server与之同步 Zookeeper节点数据操作流程     注：　　　...
Zookeeper的选举机制和同步机制超详细讲解
qq_19007169的博客
05-07 1411
前言 zookeeper相信大家都不陌生，很多分布式中间件都利用zk来提供分布式一致性协调的特性。dubbo官方推荐使用zk作为注册中心，zk也是hadoop和Hbase的重要组件。其他知名的开源中间件中也都出现了zk的身影。 有很多童鞋认识zk很久了，知道其基本理念，知道如何使用。但当面试时问到集群zk之间的选举和数据同步机制时，就陷入了盲区。 其实很多的分布式中间件的选举和同步，都和zk有异曲同工之妙。这篇文章我就来重点聊下关于zk集群之间的选举和同步机制。 ZK集群的部署 首先我们来看下半数
（十二）Zookeeper原理源码分析之集群数据同步（广播模式）流程原理分析
Armyyyyy丶的博客
04-13 560
目录 1.前话 2.Leader机器与Follower机器建立通信 2.1 相关角色及交互关系 2.2 建立通信交互流程图 3.Leader接收到客户端的Request请求 3.1 Leader机器RequestProcessor链 3.2 Leader接收Request请求并同步数据 4.Follower接收到客户端的Request请求 4.1 Follower机器RequestProcessor链 4.2 Follower接收Request请求并通过Leader同步数据 5.ZK集
zookeeper学习笔记之-Zookeeper集群两阶段提交原理
huanglei_hacker的博客
07-26 1571
Leader、Follower、Observer中的RequestProcess整理： https://www.processon.com/view/link/5e993d5de0b34d6feab4b435 Zookeeper集群为了保证数据一致性，利用两阶段提交机制。 对于Leader节点和非Leader节点（Follower或Observer）在处理读写请求时是不一样的。 Leader节点 非Leader节点（Follower或...
zookeeper学习笔记之-Zookeeper快速领导者选举原理
huanglei_hacker的博客
07-26 192
人类选举的基本原理 正常情况下，选举是一定要投票的。 我们应该都经历过投票，在投票时我们可能会将票投给和我们关系比较好的人，如果你和几个候选人都比较熟，这种情况下你会将选票投给你认为能力比较强的人，如果你和几个候选人都不熟，并且你自己也是候选人的话，这时你应该会认为你是这些候选人里面最厉害的那个人，大家都应该选你，这时你就会去和别人交流以获得别人的投票，但是很有可能在交流的过程中，你发现了比你更厉害的人，这时你如果脸皮不是那么厚的话，你应该会改变你的决定，去投你觉得更厉害的人，最终你将得到在你心中.
zookeeper学习笔记之-Zookeeper如何解决脑裂问题
huanglei_hacker的博客
07-26 193
什么是脑裂 脑裂(split-brain)就是“大脑分裂”，也就是本来一个“大脑”被拆分了两个或多个“大脑”，我们都知道，如果一个人有多个大脑，并且相互独立的话，那么会导致人体“手舞足蹈”，“不听使唤”。 脑裂通常会出现在集群环境中，比如ElasticSearch、Zookeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如ElasticSearch集群中有Master节点，Zookeeper集群中有Leader节点。 本篇文章着重来给大家讲一下Zookeeper...
zookeeper学习笔记之-Zookeeper详细功能介绍与客户端框架使用
huanglei_hacker的博客
07-25 290
节点类型(znode) 持久节点，所谓持久节点，是指在节点创建后，就一直存在，直到有删除操作来主动清除这个节点。 临时节点，和持久节点不同的是，临时节点的生命周期和客户端会话绑定。也就是说，如果客户端会话失效，那么这个节点就会自动被清除掉。注意，这里提到的是会话失效，而非连接断开。另外，在临时节点下面不能创建子节点。 持久顺序节点，这类节点的基本特性和持久节点是一致的。额外的特性是，在ZK中，每个父节点会为他的第一级子节点维护一份时序，会记录每个子节点创建的先后顺序。基于这个特性，在创建子节点的.
【Zookeeper】zookeeper 原理和应用
人生所向，皆是美好
01-20 500
文章目录1. zookeeper原理解释1.1 集群角色描述1.2 Paxos 算法概述（ZAB协议）1.2.1 zookeeper 的全新集群选主1.2.2 zookeepr 的非全新集群选主1.3 数据同步1.4 zookeeper 工作流程1.4.1 leader 工作流程1.4.2 follower 工作流程1.4.3 observer 工作流程1.4.4 zookeeper 写数据流程2...
Zookeeper的原理（zk角色与选主过程与数据同步）
qichangjian的博客
03-05 3588
1. 集群的角色描述 2.ZooKeeper 工作流程 （1）Leader工作流程 Leader 主要有三个功能： 1、恢复数据 2、维持与 Learner 的心跳，接收 Learner 请求并判断 Learner 的请求消息类型 Learner 的消息类型主要： PING 消息：Learner 的心跳信息 REQUEST 消息：Follower 发送的提议信息，包括读写请求 ACK 消息：F...
zk集群的选举和数据的同步
qq_42987796的博客
01-07 1270
zab协议 zookeeper为了保证数据的⼀致性，使⽤了ZAB（Zookeeper Atomic Broadcast）协议，这个协议解决了Zookeeper的崩溃恢复和主从数据同步的问题。 集群的选举 集群刚启动的时候 在集群启动的时候，每个结点都会生成一张自己的选票，之后各个机器之间会将自己的选票发给其他机器，机器在拿到其他机器的选票的时候，会先对比选票中的事务id，事务id大的成为主节点的权重也更大，如果事务id都是一致的话，那么对比每台机器的serviceid,结点会选出一张最合理的选票，投到选票箱
zookeeper的配置和zookeeper集群的时间同步设置
sun_0128的博客
06-26 1653
文章目录
Zookeeper工作原理（详细）
qq_22796957的博客
07-10 4526
1、Zookeeper的角色 　　» 领导者（leader），负责进行投票的发起和决议，更新系统状态 　　» 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票 　　» Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度 　　» 客户端（client），请求发起方 　　　　
Zookeeper 集群中节点之间数据是如何同步的
最新发布
lcb1424556301的博客
02-21 1460
1．首先集群启动时，会先进行领导者选举，确定哪个节点是 Leader ，哪些节点是 Follower 和 Observer 2．然后 Leader 会和其他节点进行数据同步，采用发送快照和发送 Diff 日志的方式 3．集群在工作过程中，所有的写请求都会交给 Leader 节点来进行处理，从节点只能处理读请求 4.Leader节点收到一个写请求时，会通过两阶段机制来处理 5.Leader节点会将该写请求对应的日志发送给其他 Follower 节点，并等待 Follower 节点持久化日志成功 6.Follo
Zookeeper集群中节点之间数据是如何同步的？
m0_70734549的博客
09-09 1228
Zookeeper集群中节点之间数据是如何同步的？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值