redis源码浅析--十四.多机数据库的实现（一）--新老版本复制功能的区别与实现原理

最新推荐文章于 2024-03-11 13:49:37 发布
最新推荐文章于 2024-03-11 13:49:37 发布
阅读量245 收藏
点赞数
分类专栏： redis 文章标签： redis复制实现原理 redis主从复制相关概念 redis源码解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16399991/article/details/109748991
版权

环境说明：redis源码版本 5.0.3；我在阅读源码过程做了注释，git地址：https://gitee.com/xiaoangg/redis_annotation
如有错误欢迎指正
参考书籍：《redis的设计与实现》

文章推荐：
redis源码阅读-一--sds简单动态字符串
redis源码阅读--二-链表
redis源码阅读--三-redis散列表的实现
redis源码浅析--四-redis跳跃表的实现
redis源码浅析--五-整数集合的实现
redis源码浅析--六-压缩列表
redis源码浅析--七-redisObject对象(下)（内存回收、共享）
redis源码浅析--八-数据库的实现
redis源码浅析--九-RDB持久化
redis源码浅析--十-AOF（append only file）持久化
redis源码浅析--十一.事件（上）文件事件
redis源码浅析--十一.事件（下）时间事件
redis源码浅析--十二.单机数据库的实现-客户端
redis源码浅析--十三.单机数据库的实现-服务端 - 时间事件
redis源码浅析--十三.单机数据库的实现-服务端 - redis服务器的初始化
redis源码浅析--十四.多机数据库的实现（一）--新老版本复制功能的区别与实现原理
redis源码浅析--十四.多机数据库的实现（二）--复制的实现SLAVEOF、PSYNY
redis源码浅析--十五.哨兵sentinel的设计与实现
redis源码浅析--十六.cluster集群的设计与实现
redis源码浅析--十七.发布与订阅的实现
redis源码浅析--十八.事务的实现
redis源码浅析--十九.排序的实现
redis源码浅析--二十.BIT MAP的实现
redis源码浅析--二十一.慢查询日志的实现
redis源码浅析--二十二.监视器的实现

复制功能相关概念&搭建方法可以参考：https://blog.csdn.net/qq_16399991/article/details/99881319

目录

一  旧版复制功能

1.1.同步

1.2.命令传播

1.3.旧版复制功能的缺陷

二.新版复制功能

2.1.部分重同步实现

2.1.1复制偏移量

2.1.2 复制积压缓冲区

2.1.3 服务器运行ID

一  旧版复制功能

名词解释

redis复制功能分为 同步（sync）和命令传播（command propagate）两个操作；

  • 同步（sync）:将slave数据库状态更新至master所处的数据状态;(全量操作)
  • 命令传播（command propagate）：当master执行写命令，导致主从数据不一致时。将写命令传播到slave，从而达到一致状态；

1.1.同步

当slave接受到salveof命令，从服务首先同步操作，即像master发送SYNC命令，执行流程如下：

  1. slave向master发送SYNC命令；
  2. master收到SYNC命令后执行BGSAVE命令，在后台生成RDB文件，并用一个缓冲区记录从现在开始的所有写命令；
  3. master的BGSAVE执行完毕后，master将生成的RDB文件发送给slave；
  4. slave收到RDB文件后，将数据重做到slave中；
  5. master将步骤2中缓冲区记录的命令发送给salve。从而达到master和slave数据一致；


1.2.命令传播

同步完成后，当maser再次执行写命令，还会导致master和slave数据的不一致；

为了让master和slave数据保持一致，master在执行写命令时，master会将写命令发送给slave，slave执行写命令后，使master和slave数据保持一致；

 

1.3.旧版复制功能的缺陷

先看一个复制功能完整例子：

时间masterslave 
T0服务启动 同步
T1

执行命令
SET k1 v1;

SET k2 v2；

SET k3 v3:

 
T3 服务启动；
T4 向master发送SYNC命令；
T5

接受到了SYNC命令；执行BGSAVE；

 
T6

BGSAVE还没执行完毕；

执行命令

SET k4 v4；

SET k5 v5；

这时k4和k5记录到了缓冲区；

 
T7

BGSAVE命令执行完毕，这时生成的RDB文件包含k1，k2和k3；

将RDB文件发送给slave

 
T8 slave接受到RDB，重做；slave获得k1 k2 k3
...将 缓冲区中 set k4 v4 ；set k5 v5 发送给slave； 
.... 

接受到 set k4 v4 ；set k5 v5；

   （这时同步完成 数据一致）；
T99

set k6 v6;

......

set k100000 v100000;

发送到slave 

接受master

set k6 v6;

.....

set k10000 v10000

命令传播
T100 假设salve因为网络原因与master断开连接；

断线重新复制

T101

set kk1 vv1;
set kk2 vv2;

set kk3 vv3;

掉线中...

掉线中...
掉线中...

T102 上线；
向master发送SYNC，
T103BGSAVE 
.....
发送RDB		 
T104 

重做RDB
....

 

 

 

 

在时间T100，slave因为网络原因与master断开了连接；

时间T102，slave重新连接上了master，这时master和slave数据已经不一致了。（但是只有 set kk1 vv1, set kk2 vv2 set kk3 vv3 不一致；）

slave发送SYNC命令，让master 和slave再次回到一致状态；

但是仔细研究这个断线 重新复制的过程，发现BGSAVE和传送RDB的过程并不是必做不可的。

因为这时只有KK1 KK2 KK3是不一致的。而RDB中k....k10000 都是不必要的；

SYNC命令事一个非常耗费资源的操作

  1. BGSAVE生成RDB文件会耗费大量CPU、内存、磁盘I/O资源；
  2. RDB文件传输给slave会消耗大量的网络资源（带宽和流量）；
  3. slave接受RDB文件，载入期间 从服务器会堵塞，无法接受命令请求；

 

二.新版复制功能

为了解决旧版处理断线重复复制的低效问题。redis从2.8使用PSYNC来替代SYNC命令；

名词解释

  • 完整同步（full resynchronization）：完整重同步执行和SYNC执行步骤基本一致
  • 部分重同步（partial resynchronization）:部分重复制用于处理断线后重复复制状况；当slave断线后重新连接主服务器时，如果条件允许（什么条件：下边的2.1.2 复制积压缓冲区有介绍），主服务器可以将断线期间的命令发送给slave。 （上例子中将会只发送kk1 kk2 kk3 给slave，节省很多资源）

举个例子：

时间masterslave 
.................
T100 假设salve因为网络原因与master断开连接；

断线重新复制

T101

set kk1 vv1;
set kk2 vv2;

set kk3 vv3;

掉线中...

掉线中...
掉线中...

T102 上线；
向master发送PSYNC
T103像slave 发送+CONTINUE回复，表示执行部分重同步 
T104 

接受+CONTINUE回复，执行部分重同步

 

 向slave发送set kk1 vv1， set kk2 vv2, set kk2 vv3  
  接受 set kk1 vv1。 

2.1.部分重同步实现

重要概念

  • 复制偏移量
  • master 复制积压缓冲区
  • 服务器运行ID

2.1.1复制偏移量

master和slave都维护了一个复制偏移量；

master每次向slave发送N个字节数据时，master的偏移量就会加上N；

同理 slave每次接收到master的N个字节数据时，slave的偏移量也会加上N；

如果master和slave的偏移量是相同的，那么主从数据处于一致的状态；

举个例子：
1.master和slave的偏移量都是10086（这时数据是一致的）：

2.这时候master向slave发送了33个字节，并且三个slave都正常接受到了；偏移量加33变成了10119；

如果master和slave的偏移量是不同的，那么主从数据不一致；

举个例子：

slave A断线，导致slave A没有接受到mater发送的33个字节数据；

这时 maser的偏移量变成了10119 ，slave A的因为没有接受到数据 偏移量并没有加33。master和slave数据不一致；

 

2.1.2 复制积压缓冲区

复制积压缓冲区是主服务器维护的一个固定长度的的队列（先进先出 默认1MB）；

当master向slave传播命令时，会将命令写入到复制积压缓冲区；

因此复制积压缓冲区记录了最近向slave传播的命令；并且为每个字节记录了相应的复制偏移量（这很重要）；

当slave断线后重新连接master时，向master发送PSYNC命令 会将自己的复制偏移量发送给master。

master会根据这个偏移量决定对slave执行部分同步还是完全同步；

  • slave的偏移量在复制积压缓冲区，执行部分同步 ；
  • slave的偏移量不在复制积压缓冲区，则执行完成同步；

 

2.1.3 服务器运行ID

每个服务器都有自己的运行id，不论主从；

slave对master初次复制时，会保存master的运行id；

当slave重新连接到master时，slave向master发送之前保存的mater run id；

如果slave保存的master run id和重新连接的master run id不一致，（换了master），则执行完全同步；

相反，如果一致则尝试执行部分同步；

 

。。。。。。。

了解基础原理后，后面详细介绍代码的实现过程。。。

 

 

wangxiaoangg
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
another-redis-desktop-manager.1.5.5.exe Redis数据库连接软件（好用）
06-02
首先，"another-redis-desktop-manager"是一款基于桌面的Redis管理工具，其1.5.5版本提供了友好的用户界面和高效的功能，使得对Redis服务器的管理和监控变得直观且便捷。与命令行界面相比，它为非程序员或者不熟悉...
redis-7.0.11-aarch64.tar.gz
05-25
Redis 是一个高性能的键值对存储数据库，常用于缓存、数据库和消息中间件等场景。此压缩包“redis-7.0.11-aarch64.tar.gz”是为Linux系统特别准备的Redis 7.0.11版本，针对鲲鹏（Kunpeng）处理器的aarch64（64位ARM...
Redis源码剖析——主从复制（5）—共享复制缓冲区的方案
weixin_44479862的博客
08-06 243
本文将主要分析 Redis 主从复制中的内存消耗过多和堵塞问题，以及 Redis 7.0 的共享复制缓冲区方案是如何解决这些问题的。
redis 缓冲区详解（性能优化缓冲区优化）
擅长后端研发
03-11 1311
在我的《Redis 为啥那么快》这篇文章中，详细总结了Redis 为啥那么快。今天当我要详细阐述Redis 的缓冲区时，意识到应该加上Redis 的缓冲区。我们假设没有Redis 的缓冲区，客户端向服务端发送数据，必须等待Redis 的服务端去处理，大家都知道Redis 是单线程的，虽然这么说不是很准确，为了描述，也只好这么说了。如果没有及时处理，那客户端不就阻塞了吗，有多个客户端，redis 阻塞的时间不是更长了吗？
谈谈Redis的三种重要缓冲区
weixin_48380416的博客
05-03 3576
1. 什么是缓冲区？ 操作系统为了解决 CPU 与 I/O 设备速度不匹配的矛盾，提高 CPU 和 I/O 设备的利用率，而引入缓冲区的概念。 所谓缓冲区——其实就是内存空间的一部分，用来存储输入或输出的部分数据，缓解生产者与消费者处理速度不均衡的问题； 缓冲区的优势主要有两个： 1.可以缓和 CPU 与 I/O 设备速度不匹配的矛盾，数据可以直接送往缓冲区，高速设备不用再等待低速设备，提高了计算机的效率。例如：我们使用打印机打印文档，由于打印机的打印速度相对较慢，我们先把文档输出到打印机相应的
Redis核心技术与实战-学习笔记（二十一）：Redis缓冲区
无名小辈
03-10 3230
一.什么是Redis缓冲区？ 缓冲区:用一块内存空间暂时存放命令数据，以免出现因为数据和命令的处理速度慢于发送速度而导致数据丢失和性能问题。 因为缓冲区的内存空间有限，如果往里面写入数据的速度持续性的大于从里面读取数据的速度，就会导致缓冲区 需要越来越多的内存来暂存 数据。 当缓冲区占用的内存 超出了设定的上线阈值，就会出现缓冲区溢出。 危害 如果发生 溢出就会丢失数据。 不给缓冲区大小设置上限，缓冲区越来 越大可能耗尽Redis实例所在机器的可用内存，导致实例崩溃。 缓冲区的应用场景 R.
14 redis全量复制与部分复制
weixin_39563769的博客
11-23 402
执行复制的双方，主从节点，分别会维护一个复制偏移量offset： 主节点每次向从节点同步了N字节数据后，将修改自己的复制偏移量offset+N 从节点每次从主节点同步了N字节数据后，将修改自己的复制偏移量offset+N。在数据同步之后，由于主节点不断的接受到写入命令，主从节点进入命令传播阶段，主节点将自己执行的写命令发送给从节点，从节点接收命令并执行，从而保证主从节点数据的一致性。在主节点进行命令传播时，不仅会将写命令同步到从节点，还会将写命令写入复制积压缓冲区。主从复制的开启，完全是在从节点发起的。
Redis-x64-3.0.504.msi.zip
09-15
- Redis支持事务、发布/订阅、主从复制、LUA脚本等功能，且可以通过配置文件实现持久化，确保数据安全。 2. **Redis 3.0.504 版本特性**： - Redis 3.0.504是该数据库的一个稳定版本，发布于2016年，提供了许多...
Redis-x64-5.0.14.1.msi
11-20
Redis 是一个开源的、高性能的键值存储系统，常被用作数据库、缓存和消息代理。这个压缩包“Redis-x64-5.0.14.1.msi”显然是 Redis 的 Windows 64 位版本的安装程序，版本号为 5.0.14。下面将详细介绍 Redis 的核心...
最新版windows Redis-x64-5.0.14.1.zip
08-13
Redis，全称Remote Dictionary Server，是一款高性能的键值存储系统，常被用于数据库、缓存以及消息中间件等场景。Windows版本的Redis是为在Windows操作系统环境下运行Redis而特别编译和封装的版本。本压缩包...
Redis复制积压缓冲区源码实现及其图解
wyt568的博客
07-27 2566
文章目录1.backlog是什么2.backlog实现2.1 backlog初始化2.2 积累buffer2.3 修改大小3.图解backlog 1.backlog是什么 复制积压缓冲区（backlog）是保存在主节点固定长度的队列，默认1M，当主节点有连接的slave时创建，主节点响应写请求时，不但会将命令发给slave，也会写到自己backlog buffer中 缓冲区是先进先出队列，所以能实现保存最近已复制的数据，用来实现增量复制和复制断连的数据补偿。 原生的设计，当master从未连接过slave
Redis replication_buffer 与 replication_backlog_buffer 区别与联系 | 复制缓冲区、复制积压缓冲区
血煞长虹 的专栏
11-09 3171
本文简略阐明replication_buffer、replication_backlog_buffer之间的关系，附带redis 版本5.0+ 6.2.6的下载和安装。 前者是复制缓冲区，主要用于首次rdb后的首次增量同步数据。后者复制积压缓冲区主要用于常规的增量数据同步
redis 两主两从+哨兵模式
08-14 1189
Redis 两主两从配置安装 一、RedisRedis 支持 Master-Slave(主从)模式，Redis Server 可以设置为另一个 Redis Server 的主机（从机），从机定期从主机拿数据。特殊的，一个从机同样可以设置为一个 Redis Server 的主机，这样一来 Master-Slave 的分布看起来就是一个有向无环图 DAG，如此形成 Redis Server 集群，无论...
Redis 性能影响 - 内存碎片和缓冲区
Zong_0915的博客
08-12 3370
通过命令查看内存的使用情况。，如果超过了1.5，建议可以考虑进行内存碎片的清理了。内存碎片的清理可以开启自动清理内存碎片机制，是主线程执行的，会发生阻塞。需要合理配置对应的参数，保证Redis的高性能。，如果值小于1，说明物理内存不够真实数据的保存了，此时机器应该开启了swap机制，会导致Redis性能的严重下降。应该考虑增加机器的内存配置了，或者搞集群。文章提到了4个缓冲区。输入缓冲区：保存客户端发送的命令。输出缓冲区：保存服务端返回的数据。复制缓冲区：用于全量复制时，保存新写入的命令。......
Redis 复制机制详解
weixin_54750412的博客
11-12 403
本文转自@TWT社区 Redis复制技术是实现Redis哨兵、集群高可用部署和Redis高扩展性的基石。Redis从实例通过复制主实例使得主从之间数据达到最终一致性，复制过程包括复制初始化、数据同步和命令传播三个阶段。 复制初始化 Redis实例收到replicaof {MASTER_IP} {MASTER_PORT}命令（老版本中使用slaveof命令）后与主实例进行连接并与主实例同步数据。执行replicaof命令后，Redis实例会进行如下操作： 保存主实例信息 主从之间建立socket连接.
Redis中的缓冲区
凯凯王的技术生涯
12-28 964
文章目录客户端输入和输出缓冲区输入缓冲区溢出如何查看如何避免输出缓冲区溢出返回客户端信息种类输出缓冲区组成部分溢出情况缓冲区大小设置问题设置内容客户端分类普通客户端设置订阅客户端设置主从集群中的缓冲区 缓冲区是一块用来暂时存放命令数据的内存空间，避免数据和命令处理速度慢而导致数据丢失或性能问题。 因为内存缓冲区的空间有限，写入数据的速度持续大于从里面读取数据的速度，会导致缓冲区内存越来越大，超过上限值（不设上限会把Redis内存耗尽而崩溃），就会缓冲区溢出。 缓冲区在Redis中的应用场景如下： 客户端输入
21 | 缓冲区：一个可能引发“惨案”的地方
吉衣の秋先生的博客
11-22 1075
Redis核心技术与实战 实践篇 21 | 缓冲区：一个可能引发“惨案”的地方 缓冲区的功能主要是：用一块内存空间来暂时存放命令数据，以免出现因为数据和命令的处理速度慢于发送速度而导致的数据丢失和性能问题。 但因为缓冲区的内存空间有限，如果往里面写入数据的速度持续地大于从里面读取数据的速度，就会导致缓冲区需要越来越多的内存来暂存数据。当缓冲区占用的内存超出了设定的上限阈值时，就会出现缓冲区溢出。如果发生了溢出，就会出现数据丢失。 如果不给缓冲区的大小设置上限，会怎样？ 随着累积的数据越来越多，缓冲区占用内存
深入剖析Redis复制
学习需要由浅入深，心怀敬畏
01-22 1772
数据同步 Redis在2.8及以上版本使用psync命令完成主从数据同步，同步过程分为：全量复制和部分复制。 全量复制：一般用于初次复制场景，Redis早期支持的复制功能只有全量复制，它会把主节点全部数据一次性发送给从节点，当数据量较大时，会对主从节点和网络造成很大的开销。 部分复制：用于处理在主从复制中因网络闪断等原因造成的数据丢失场景，当从节点再次连上主节点后，如果条
redis 主从复制搭建，全量复制和部分复制
没有用户名的博客
09-25 1891
首先并不推荐手动创建redis主从，因为redis自带redis sentinel，可以使用redis sentinel来搭建主从架构，其中redis sentinel 内部实现了高可用，保证主节点或从节点挂掉可以保证服务继续！！！ 优缺点 单机架构缺点 机器故障，容量瓶颈,QTS瓶颈 主从复制优点 master ---- slave 一主多从，读写分离，slave 可以还有slave 如...
redis-cli -h 192.168.230.137
最新发布
06-29
`redis-cli -h 192.168.230.137` 是Redis命令行客户端（redis-cli）的一个参数，`-h` 参数表示连接到指定的主机地址。在这个例子中，你正在尝试连接到 IP 地址为 192.168.230.137 的 Redis 服务器。Redis是一款键值存储数据库，常用于缓存、消息队列和数据结构存储等场景。 当你运行这个命令后，redis-cli 将会尝试与该服务器建立连接，并允许你通过命令行工具执行各种 Redis 操作，如查看键值、设置/获取值、管理数据库、发布/订阅消息等。例如，你可以输入 `KEYS *` 来列出所有键，或者 `SET mykey value` 来设置键值对。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值