zk数据同步的原理

最新推荐文章于 2024-05-15 18:36:17 发布
最新推荐文章于 2024-05-15 18:36:17 发布
阅读量319 收藏
点赞数
分类专栏： Zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20004115/article/details/119913118
版权
本文详细介绍了Zookeeper中ZXID事务Id在集群同步过程中的作用。当新选举的领导者与从节点进行数据同步时，根据peerLastZxid与MinCommitedLog和MaxCommitedLog的关系，确定同步策略：在两者之间则差异化同步，大于MaxCommitedLog则回滚，小于MinCommitedLog则全量同步，否则先回滚到合适位置再差异化同步。
摘要由CSDN通过智能技术生成


zxid ：操作数据的事务Id

leader会广播进行同步

从节点最后处理的 zxid  peerLastZxid
新选举的节点中 min zxid   MinCommitedLog   max zxid  MaxCommitedLog 

如果peerLastZxid 在MinCommitedLog  MaxCommitedLog 之间
直接差异化同步 

如果peerLastZxid 大于 MaxCommitedLog
回滚从节点

如果peerLastZxid 小于 MinCommitedLog
直接全量同步

还有一种情况 peerLastZxid 不属于MinCommitedLog  MaxCommitedLog 之间
先回滚到MinCommitedLog  MaxCommitedLog中最近的一个zxid
然后在进行直接差异化同步 

阳光帅青年
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zk原理笔记
dongqiling的博客
01-18 582
http://dongqilin.wx.sczhou.com/static/html/admin/shop/manage.html?_d=v2.1.0 http://dongqilin.wx.sczhou.com/static/html/buy/trade/index.html?_d=v2.1.0 Ctrl+Alt+T代码围绕 Ctrl+Shift+Enter。语句自动完成 会自动地添加缺失的 括...
zk的数据模型 &数据同步原理
晓魏
05-12 545
zk的数据模型 zk数据同步机制
大数据最新Zookeeper数据同步流程_zookeeper数据同步过程，想搞定大厂面试官
最新发布
2401_84181564的博客
05-15 396
Zookeeper中数据的快照机制决定了快照文件中并非包含了所有的事务操作，但是未被包含在快照文件中的那部分事务操作可以通过数据订正来实现，因此，我们这里只需要从事务日志中获取所有ZXID比步骤7得到的zxid_for_snap大的事务操作即可。每次选举产生一个新的Leader服务器之后，就会生成一个新的epoch，在完成数据加载后，Zookeeper从步骤11中确定的ZXID中解析出事务处理的Leader周期，同时也会从磁盘文件中读取出上次记录的最新epoch值，进行校验。
ZK数据同步
weixin_30709061的博客
09-29 292
整个集群完成Learner选举后，Learner向Leader发起注册，然后进入数据同步环节，即Leader将learner上缺失的事务请求同步给Learner 1). 获取Learner状态 根据Learner发送的ACKEPOCH，leader解析出该learner的currentEpoch和lastZxid 2). leader进行自身数据同步初始化，包括peerLastZxid/minCo...
Zookeeper之数据同步原理
kylin
04-25 5202
Zookeeper数据同步 zk通过三种不同的 集群角色来组成整个高性能集群，在zk中，客户端会随机连接到zk集群中的一个节点，如果是读请求，就直接从当前节点中读取数据，如果是写请求，那么请求会被转发给leader提交事务，然后leader会广播事务，只要超过半数节点写入成功，那么写请求就会被提交（类2PC事务，2PC是全数节点ok) 问题： 集群的leader节点如何选举出来？ lea...
深入浅出Zookeeper---4、ZK一致性与同步原理
热门推荐
u014526891的博客
03-21 1万+
CAP定理 CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性）这三个基本需求，最多只能同时满足其中的2个。 Consistency（一致性）: 多个副本节点保持数据的一致性。 Availability（可用性）： 指系统一直处于可用的状态。 Partition Tolerance（分区容错性）： 遇到任何网络分区故障， 仍然能够保证对外提供满足一致性和可用性的服务。 ZK为什么不能满足可用性
Zookeeper源码解析：3、zk数据同步流程
dk2077的博客
01-29 816
接着上篇选举流程。当zk选举成功后，zk会进行(Leader-Follower)数据同步，数据同步成功后，整个集群才开始正常运作。这篇我们就来分析下数据同步流程。 首先我们还是回到org.apache.zookeeper.server.quorum.QuorumPeer的run方法为主入口 @Override public void run() { // ....省略一些无关紧...
ZK集群搭建、选举机制、数据同步机制笔记
m0_37163942的博客
05-07 161
http://note.youdao.com/noteshare?id=12d57ace129e721b8f4c241951251324
zk集群的选举和数据的同步
qq_42987796的博客
01-07 1237
zab协议 zookeeper为了保证数据的⼀致性，使⽤了ZAB（Zookeeper Atomic Broadcast）协议，这个协议解决了Zookeeper的崩溃恢复和主从数据同步的问题。 集群的选举 集群刚启动的时候 在集群启动的时候，每个结点都会生成一张自己的选票，之后各个机器之间会将自己的选票发给其他机器，机器在拿到其他机器的选票的时候，会先对比选票中的事务id，事务id大的成为主节点的权重也更大，如果事务id都是一致的话，那么对比每台机器的serviceid,结点会选出一张最合理的选票，投到选票箱
ZK初时——Zookeeper的工作原理
SongYuxinIT的博客
05-16 253
通俗来讲，Zookeeper 的核心是原子广播，这个机制保证了各个 server 之间的同步。实现这个机制的协议叫做 Zab 协议。Zab 协议有两种模式，它们分别是恢复模式和广播模式。 当服务启动或者在领导者崩溃后，Zab 就进入了恢复模式，当领导者被选举出来，且大多数 server 的完成了和 leader 的状态同步以后，恢复模式就结束了。 状态同步保证了 leader 和 server 具有相同的系统状态。 一旦 leader 已经和多数的 follower 进行了状态同步后，他就可以开始广播
zk是怎样保证主从节点的状态同步
07-19 441
zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫做zab协议。zab协议有两种模式，分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，zab就进入了恢复模式，当领导者被选举出来，且大多数server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和server具有相同的系统状态。......
Zookeeper集群中节点之间数据是如何同步的？
m0_70734549的博客
09-09 1210
Zookeeper集群中节点之间数据是如何同步的？
Zookeeper同步机制
Data & Analysis
12-05 504
优点：解决方案、处理问题能力、架构优化/拓展能力 零、Zookeeper事务 事务id(主从同步Id-每次ack递增+1,64位存储（32位纪元号-leader号，32位自增号）) 每一个操作都将使节点接收到一个Zxid格式的时间戳 ZooKeeper的每个节点维护者两个Zxid值，为别为：cZxid、mZxid。 （1）cZxid：是节点的创建时间所对应的Zxid格式时间戳。 （2）mZxid：是节点的修改时间所对应的Zxid格式时间戳。 一个客户端发起的写请求打到follower时的整个流程。 1.f
第六章 zookeeper 原理，安装步骤，数据同步演示
小爷欣欣
03-28 580
Zookeeper是主从模式的。 一，zookeeper原理： Zookeeper是Google的Chubby一个开源的实现，是Hadoop的分布式协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。         在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameN...
Zookeeper数据的同步流程
Leon_Jinhai_Sun的博客
01-19 361
在第一节课，我们了解了zk的集群组成，zookeeper通过三种不同的集群角色来组成整个高性能集群的 在zookeeper中，客户端会随机连接到zookeeper集群中的一个节点，如果是读请求，就直接从当前节点中读取数据，如果是写请求，那么请求会被转发给leader提交事务，然后leader会广播事务，只要有超过半数节点写入成功，那么写请求就会被提交（类2PC事务） 那么问题来了 1. 集群中的leader节点如何选举出来？ 2. leader节点崩溃以后，整个集群无法处理写请求，如何快速从..
Zookeeper分布式锁与同步机制
禅与计算机程序设计艺术
01-18 916
1.背景介绍 Zookeeper是一个开源的分布式应用程序协调服务，它为分布式应用程序提供一致性、可靠性和可扩展性。Zookeeper可以用来实现分布式锁、同步机制、配置管理、集群管理等功能。在分布式系统中，分布式锁和同步机制是非常重要的，它们可以确保系统的一致性和可靠性。 在本文中，我们将深入探讨Zookeeper分布式锁和同步机制的核心概念、算法原理、实现细节和应用场景。同时，我们还将讨论...
zookeeper配置同步zookeeper编程
weixin_34306676的博客
12-10 110
分布式助手Zookeeper（四） kissyoudyb 2013-12-05 17:41 阅读:33 评论:0     分布式助手Zookeeper（三） kissyoudyb 2013-12-05 17:37 阅读:48 评论:0     分布式助手Zookeeper（二） kissyoudyb 2013-12-05 17:25 阅读:31 评论:0   ...
Zookeeper工作原理（详细）
qq_22796957的博客
07-10 4468
1、Zookeeper的角色 　　» 领导者（leader），负责进行投票的发起和决议，更新系统状态 　　» 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票 　　» Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度 　　» 客户端（client），请求发起方 　　　　
ZK开发者指南：初学者入门PDF
数据绑定功能允许开发者将UI元素与后台数据模型直接关联，实现双向数据同步，减少了手动更新界面的工作。此外，ZK提供了一套丰富的组件库，包括按钮、表格、树形视图等，这些组件都是预先封装好的，可以直接在应用中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值