redis数据同步时的过程

最新推荐文章于 2024-08-15 11:46:38 发布

2401_83703951

最新推荐文章于 2024-08-15 11:46:38 发布

阅读量474

点赞数 4

分类专栏：程序员文章标签： redis php 数据库

本文链接：https://blog.csdn.net/2401_83703951/article/details/137286825

版权

程序员专栏收录该内容

451 篇文章 2 订阅

订阅专栏

本文详细介绍了Redis2.8版本后引入的全量复制和增量复制机制，以及它们在数据同步过程中的应用场景和优缺点。特别关注了网络中断后如何通过增量复制提高效率，以及与Java工程师技能提升的相关内容。

摘要由CSDN通过智能技术生成

redis2.8 版本之后
- 1、全量复制
2、增量复制
小结

叙述

============================================================

今天我们来探讨一下redis的主从复制的数据同步阶段的全量复制和增量复制.

数据同步过程

在Redis2.8以前，从节点向主节点发送sync命令请求同步数据，此时的同步方式是全量复制；在Redis2.8及以后，从节点可以发送psync命令请求同步数据，此时根据主从节点当前状态的不同，同步方式可能是全量复制或增量复制。

下面介绍以Redis2.8及以后版本为例。

全量复制：用于初次复制或其它无法进行增量复制的情况，将主节点中的所有数据都发送给从节点，是一个非常重型的操作。
增量复制：用于网络中断等情况后的复制，只将中断期间主节点执行的写命令发送给从节点，与全量复制相比更加高效。需要注意的是，如果网络中断时间过长，造成主节点没有能够完整地保存中断期间执行的写命令，则无法进行增量复制，仍使用全量复制。

redis2.8 版本之前

在这里插入图片描述

复制过程说明：

slave 服务启动，slave 会建立和 master 的连接，发送 sync 命令。
master 启动一个后台进程将数据库快照保存到 RDB 文件中

注意：此时如果生成 RDB 文件过程中存在写数据操作会导致 RDB 文件和当前主 redis 数据不一致，所以此时 master

主进程会开始收集写命令并缓存起来。

master 就发送 RDB 文件给 slave
slave 将文件保存到磁盘上，然后加载到内存恢复
master 把缓存的命令转发给 slave

注意：后续 master 收到的写命令都会通过开始建立的连接发送给 slave。

当 master 和 slave 的连接断开时 slave 可以自动重新建立连接。如果 master 同时收到多个 slave 发来的同步连接命令，只会启动一个进程来写数据库镜像，然后发送给所有 slave。

完整复制的问题：

在 redis2.8 之前从 redis 每次同步都会从主 redis 中复制全部的数据，如果从 redis 是新创建的从主 redis 中复制全部的数据这是没有问题的，但是，如果当从 redis 停止运行，再启动时可能只有少增量数据和主 redis 不同步，此时启动 redis 仍然会从主 redis 复制全部数据，这样的性能肯定没有只复制那一小增量不同步的数据高。

redis2.8 版本之后

1、全量复制

Redis通过psync命令进行全量复制的过程如下：

从节点判断无法进行增量复制，向主节点发送全量复制的请求；或从节点发送增量复制的请求，但主节点判断无法进行全量复制。
主节点收到全量复制的命令后，执行bgsave，在后台生成RDB文件，并使用一个缓冲区（称为复制缓冲区）记录从现在开始执行的所有写命令。
主节点的bgsave执行完成后，将RDB文件发送给从节点；从节点首先清除自己的旧数据，然后载入接收的RDB文件，将数据库状态更新至主节点执行bgsave时的数据库状态。
主节点将前述复制缓冲区中的所有写命令发送给从节点，从节点执行这些写命令，将数据库状态更新至主节点的最新状态。
如果从节点开启了AOF，则会触发bgrewriteaof的执行，从而保证AOF文件更新至主节点的最新状态。