zookeeper的数据同步机制

最新推荐文章于 2024-08-16 18:21:48 发布
最新推荐文章于 2024-08-16 18:21:48 发布
阅读量1.8k 收藏 7
点赞数
文章标签： zookeeper 分布式 java kafka 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44802992/article/details/114287369
版权
本文详细介绍了Zookeeper的数据同步机制，包括客户端写入请求流程和服务节点初始化同步过程。通过ZXID（一个64位数字，低32位递增，高32位代表leader周期编号）来确保数据一致性。在节点恢复或选举过程中，ZXID用于判断节点数据的最新状态。同时，文中提出了两个思考题讨论了节点宕机和恢复后的影响。
摘要由CSDN通过智能技术生成

zookeeper的数据同步机制

zookeeper 的数据同步是为了保证各节点中数据的一至性，同步时涉及两个流程，一个是正常的客户端数据提交，另一个是集群某个节点宕机在恢复后的数据同步。

客户端写入请求：

写入请求的大至流程是，收leader接收客户端写请求，并同步给各个子节点。如下图：
在这里插入图片描述

但实际情况要复杂的多，比如client 它并不知道哪个节点是leader 有可能写的请求会发给follower ，由follower在转发给leader进行同步处理，如下图所示
在这里插入图片描述

客户端写入流程说明：

  • client向zk中的server发送写请求，如果该server不是leader，则会将该写请求转发给leader server，leader将请求事务以proposal形式分发给follower；

  • 当follower收到收到leader的proposal时，根据接收的先后顺序处理proposal；

  • 当Leader收到follower针对某个proposal过半的ack后，则发起事务提交，重新发起一个commit的proposal

最低0.47元/天 解锁文章
技术菜鸟—淡定万
关注
Zookeeper之数据同步原理
kylin
04-25 5534
Zookeeper数据同步 zk通过三种不同的 集群角色来组成整个高性能集群，在zk中，客户端会随机连接到zk集群中的一个节点，如果是读请求，就直接从当前节点中读取数据，如果是写请求，那么请求会被转发给leader提交事务，然后leader会广播事务，只要超过半数节点写入成功，那么写请求就会被提交（类2PC事务，2PC是全数节点ok) 问题： 集群的leader节点如何选举出来？ lea...
zookeeper进阶（watcher机制、数据同步流程、分布式锁）
日积月累，水滴石穿
06-17 968
整个watcher事件机制，分为客户端注册、服务端处理、服务端触发通知、客户端回调四个过程。[该类型的内容暂不支持下载]其中客户端注册 watcher 有三种方式，调用客户端 API 可以分别通过 getData、exists、getChildren 实现，，以 exists 方法举例说明其原理Java public class WatcherDemo implements Watcher { static ZooKeeper zooKeeper; static {
Zookeeper的数据同步与备份
AI天才研究院
01-21 1247
1.背景介绍 1. 背景介绍 Apache Zookeeper 是一个开源的分布式应用程序，它提供了一种分布式协同服务，以实现分布式应用程序的可靠性和可扩展性。Zookeeper 的核心功能是提供一种高效、可靠的数据同步和分布式协同服务。在分布式系统中，Zookeeper 被广泛应用于配置管理、集群管理、分布式锁、选举等功能。 数据同步和备份是 Zookeeper 的核心功能之一，它可以确保...
Zookeeper集群如何实现强一致性和高可用，集群数据同步过程
dxh9231028的博客
08-16 1196
在分布式环境下，多个节点需要协同工作，确保多个服务之间数据的一致性以及系统的可靠性。：在分布式系统中，多个节点可能需要同时访问共享资源，为了防止竞争条件和数据不一致，需要引入分布式锁机制。：在分布式系统中，多个节点需要共享某些配置或数据，并且这些配置需要动态更新。：在分布式系统中，节点之间需要互相发现，以便进行通信和协作，尤其是在动态扩展或缩减节点时。：在分布式环境下，单个节点可能会发生故障，因此系统需要具有一定的容错机制，以保证整体系统的可用性。
Zookeeper同步机制
Data & Analysis
12-05 540
优点：解决方案、处理问题能力、架构优化/拓展能力 零、Zookeeper事务 事务id(主从同步Id-每次ack递增+1,64位存储（32位纪元号-leader号，32位自增号）) 每一个操作都将使节点接收到一个Zxid格式的时间戳 ZooKeeper的每个节点维护者两个Zxid值，为别为：cZxid、mZxid。 （1）cZxid：是节点的创建时间所对应的Zxid格式时间戳。 （2）mZxid：是节点的修改时间所对应的Zxid格式时间戳。 一个客户端发起的写请求打到follower时的整个流程。 1.f
ZooKeeper数据存储与数据同步机制
张普的专栏
07-05 1592
ZooKeeper中，数据存储分为两部分，内存数据(ZKDatabase)与磁盘数据(事务日志 + 事务快照)。ZKDatabaseZooKeeper的数据模型是一棵树。而从使用角度看，ZooKeeper就像一个内存数据库一样，在内存数据库中，存储了整棵树的内容，包括所有的节点路径、节点数据以及ACL信息等。ZKDatabaseZKDatabase是ZooKeeper的内...
zookeeper选主和同步机制
mnhpo_Q的博客
03-12 724
zab协议 Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。 选主和同步的联系 当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。 因此，选主得到的leader...
ZooKeeper 的数据同步机制是什么.md
最新发布
08-28
ZooKeeper碰到的问题
Zookeeper同步机制!!!
yangcai11的博客
05-25 4248
优点：解决方案、处理问题能力、架构优化/拓展能力 零、Zookeeper事务 事务id(主从同步Id-每次ack递增+1,64位存储（32位纪元号-leader号，32位自增号）) 每一个操作都将使节点接收到一个Zxid格式的时间戳 ZooKeeper的每个节点维护者两个Zxid值，为别为：cZxid、mZxid。 （1）cZxid：是节点的创建时间所对应的Zxid格式时间戳。 （2）mZxid：是节点的修改时间所对应的Zxid格式时间戳。 一个客户端发起的写请求打到follower时的整个流程。 1
Zookeeper分布式锁与同步机制
AI天才研究院
01-18 956
1.背景介绍 Zookeeper是一个开源的分布式应用程序协调服务，它为分布式应用程序提供一致性、可靠性和可扩展性。Zookeeper可以用来实现分布式锁、同步机制、配置管理、集群管理等功能。在分布式系统中，分布式锁和同步机制是非常重要的，它们可以确保系统的一致性和可靠性。 在本文中，我们将深入探讨Zookeeper分布式锁和同步机制的核心概念、算法原理、实现细节和应用场景。同时，我们还将讨论...
zookeeper学习笔记之-Zookeeper集群同步数据原理
huanglei_hacker的博客
07-26 567
Leader和Learner什么时候开始同步数据 当服务器启动时，完成了领导者选举后，确定了服务器的角色后（比如Leader、Follower、Observer），会先统一Epoch，然后就开始数据同步，最后再构造RequestProcessor，处理客户端的请求。 Learner节点向Leader发送LearnerInfo数据(包含了acceptEpoch)，然后等待Leader响应 Leader不停的从Learner节点接收到发送过来的LearnerInfo数据，比较Epoch，超过过..
ZooKeeper自身数据一致性
GSpinach的博客
10-07 3115
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录0 前言1 ZK数据一致性1.1 ZK选举1.2 ZK原子广播机制(ZAB协议)1.2.1 广播模式1.2.2 恢复模式1.2.3 Paxos与Zab一致性对比1.3 ZK数据同步机制1.3.1 同步准备1.3.2 同步初始化1.3.3 数据同步场景ZK...
zookeeper学习----zookeeper选举机制和数据同步详解
qq_43719634的博客
07-15 820
zookeeper 选举机制和数据同步详解
Zookeeper 数据同步流程
summer_fish的专栏
07-23 398
在 Zookeeper 中，主要依赖 ZAB 协议来实现分布式数据一致性。 ZAB 协议分为两部分： 消息广播 崩溃恢复 消息广播 Zookeeper 使用单一的主进程 Leader 来接收和处理客户端所有事务请求，并采用 ZAB 协议的原子广播协议，将事务请求以 Proposal 提议广播到所有 Follower 节点，当集群中有过半的Follower 服务器进行正确的 ACK 反馈，那么Leader就会再次向所有的 Follower 服务器发送commit 消息，将此次提案进行提交。这个过程
zookeeper是怎样实现数据一致性的？
海鸥~
06-23 4660
众所周知，zookeeper是一个开源的分布式协调服务，很多分布式的应用都是基于zookeeper来实现分布式锁，服务管理，服务发现，通知订阅等功能。那么。zookeeper自身是如何在分布式环境下实现数据的一致性的呢。 一、结构 既然zookeeper是在分布式环境下提供服务的，那么它必须要解决的问题就是单点问题，因此zookeeper是一个主备的结构。zookeeper 存在leader,follower,observer三种角色,这三种角色在实际服务集群中都是服务节点。 leader:处理所有请求，
Zookeeper数据的同步流程
Leon_Jinhai_Sun的博客
01-19 378
在第一节课，我们了解了zk的集群组成，zookeeper通过三种不同的集群角色来组成整个高性能集群的 在zookeeper中，客户端会随机连接到zookeeper集群中的一个节点，如果是读请求，就直接从当前节点中读取数据，如果是写请求，那么请求会被转发给leader提交事务，然后leader会广播事务，只要有超过半数节点写入成功，那么写请求就会被提交（类2PC事务） 那么问题来了 1. 集群中的leader节点如何选举出来？ 2. leader节点崩溃以后，整个集群无法处理写请求，如何快速从..
Zookeeper的选举机制和同步机制超详细讲解
qq_19007169的博客
05-07 1438
前言 zookeeper相信大家都不陌生，很多分布式中间件都利用zk来提供分布式一致性协调的特性。dubbo官方推荐使用zk作为注册中心，zk也是hadoop和Hbase的重要组件。其他知名的开源中间件中也都出现了zk的身影。 有很多童鞋认识zk很久了，知道其基本理念，知道如何使用。但当面试时问到集群zk之间的选举和数据同步机制时，就陷入了盲区。 其实很多的分布式中间件的选举和同步，都和zk有异曲同工之妙。这篇文章我就来重点聊下关于zk集群之间的选举和同步机制。 ZK集群的部署 首先我们来看下半数
【Zookeeper】zookeeper 原理和应用
人生所向，皆是美好
01-20 528
文章目录1. zookeeper原理解释1.1 集群角色描述1.2 Paxos 算法概述（ZAB协议）1.2.1 zookeeper 的全新集群选主1.2.2 zookeepr 的非全新集群选主1.3 数据同步1.4 zookeeper 工作流程1.4.1 leader 工作流程1.4.2 follower 工作流程1.4.3 observer 工作流程1.4.4 zookeeper 写数据流程2...
什么是Zookeeper，以及机制详解与实现
Su_Levi_Wei的博客
12-22 600
为什么要有Zookeeper？ 电视里经常会有一些狗血的设定，队长和副队长一起出去执行任务，执行完任务后副队长回来报到了，但是队长可能因为天气原因导致航班延期了，暂时回不来，这个时候副队长左等右等还等不到队长回来，而且副队长担心队长如果出事了，下面的队员没有人约束，大家可能就会松懈下来，副队长等了一个星期后，自己当队长了。 结果过了两个星期后，队长回来了，这个时候就产生...
Zookeeper的数据同步机制
12-07
Zookeeper是一个分布式协调服务，它的数据同步机制是通过ZAB（Zookeeper Atomic Broadcast）协议实现的。ZAB协议是Zookeeper中最核心的协议之一，它保证了Zookeeper集群中所有节点之间的数据一致性。 ZAB协议的核心思想是将所有的事务请求按照顺序广播到所有的节点上，然后每个节点按照相同的顺序执行这些事务请求。在执行事务请求的过程中，每个节点都会将自己的状态变化记录下来，并将这些变化广播给其他节点。当大多数节点都执行了同样的事务请求并记录了相同的状态变化时，就认为这个事务请求已经被提交了。 ZAB协议中有两种模式：恢复模式和广播模式。在恢复模式下，Zookeeper集群中的节点会选举出一个Leader节点，Leader节点负责将自己的状态同步给其他节点。在广播模式下，所有节点都可以接收客户端的请求，并将这些请求广播给其他节点。 总之，Zookeeper通过ZAB协议实现了数据同步机制，保证了集群中所有节点之间的数据一致性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值