Redis主从复制总结

主从同步配置方式

1. 在Redis客户端中执行slaveof ip port 让服务器将ip:port对应的服务器设置为自己的主服务器
2. 在Redis客户端中，执行slaveof no one来让服务器成为主服务器
3. 在Redis配置文件中增加slaveof <ip> <port> 来配置服务器的主服务器地址

旧的主从复制机制

分为两个阶段：同步、命令传播。

同步阶段

• 从服务器连接主服务器，发送SYNC命令；
• 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令；
• 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令；
• 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照；
• 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；
• 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；（从服务器初始化完成）

命令传播阶段

• 主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令（从服务器初始化完成后的操作）

缺陷

断线后复制，需从0 开始主从复制，效率低。

新的主从复制机制

使用PSYNC命令代替SYNC命令

PSYNC包含两种模式：完整重同步、部分重同步。

• 完整重同步：用于初次复制，和SYNC命令执行步骤相同
• 部分重同步：用于处理断线后重复制的情况，主服务器只同步连接断开期间执行的写命令给从服务器。

部分重同步

部分重同步功能由以下三个部分构成:

• 复制偏移量（replicationoffset）
• 复制积压缓冲区（replicationbacklog）
• 服务器的运行ID（runID）

复制偏移量

主服务器和从服务器会分别维护一个复制偏移量,单位为字节:

• 主服务器每次向从服务器传播N个字节的数据时，就将自己的复制偏移量的值加上N
• 从服务器每次收到主服务器传播来的N个字节的数据时，就将自己的复制偏移量的值加上N

通过对比主从服务器的复制偏移量判断主从服务器状态是否一致：

• 主从服务器复制偏移量相同： 一致状态
• 主从服务器复制偏移量不同：状态不一致

复制积压缓冲区

复制积压缓冲区是由 主服务器维护 的一个 固定长度先进先出队列 ，默认大小为 1MB

主服务器进行命令传播时，不仅将写命令发送给所有从服务器，还将写命令入队到复制积压缓冲区中。 主服务器的复制积压缓冲区中会保存着一部分最近传播的写命令，并且 复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量

从服务器会通过PSYNC命令将从服务器的复制偏移量发送给主服务器：

• 若offset偏移量之后的数据仍然存在于复制积压缓冲区里面，则主服务器将对从服务器 执行部分重同步操作
• 若offset偏移量之后的数据已经不存在于复制积压缓冲区，则主服务器将对从服务器 执行完整重同步操作

如何确认复制积压缓冲区的大小？

默认为1MB，需根据从服务器端线恢复时间及每秒写命令长度确定。

复制积压缓冲区大小最好设置为：2 * 端线恢复时间 * 每秒写命令长度

服务器的运行ID

每个Redis服务器都会在启动时生成 40个随机的十六进制字符组成的运行ID

服务器运行ID的作用：

初次复制时 主服务器将运行ID传递给从服务器 ，从服务器在 本地保存 。

当从服务器断线重连后， 从服务器向主服务器发送之前保存的主服务器运行ID :

• 若当前主服务器ID == 从服务器保存的主服务器ID：主服务器未变更， 执行部分重同步
• 若当前主服务器ID != 从服务器保存的主服务器ID：主服务器已变更， 执行完整重同步

PSYNC的实现

Psync有两种调用方式：

• 从服务器未复制过任何主服务器：向主服务器发送PSYNC?-1命令
• 从服务器已复制过某个主服务器：向主服务器发送PSYNC <runid> <offset>命令。runid：主服务器运行id；offset:从服务器的复制偏移量。

主服务器 接收到PSYNC命令会有以下三种不同回复：

• 执行完整重同步操作： 主服务器返回+FULLRESYNC<runid><offset>回复
• 执行部分重同步操作： 主服务器返回+CONTINUE回复
• 版本低无法识别PSYNC：猪服务器返回-Err回复

主从心跳检测

在命令传播阶段，从服务器会 向主服务器发送心跳检测命令，默认 每秒一次

REPLCONFACK<replication_offset>

心跳检测的三个作用：检测主从服务器的网络连接状态、辅助实现min-slaves选项、检测命令丢失。

min-slave选项

min-slaves-to-write和min-slaves-max-lag两个选项可以 防止主服务器在不安全的情况下执行写命令 。

• min-slaves-to-write：从服务器个数小于 min-slaves-to-write时，主服务器不能执行写命令
• min-slaves-max-lag：单位：秒。 min-slaves-to-write个从服务器的延迟大于等于 min-slaves-max-lag时主服务器拒绝执行写命令

检测命令丢失

若网络故障造成主服务器的写命令丢失，则心跳检测时从服务器上报的复制偏移量将于主服务器不一致。主服务器会根据从服务器提交的复制偏移量，从复制积压缓冲区中读取丢失数据并重传给从服务器。

补发缺失数据操作在主从服务器没有断线的情况下执行，而部分重同步操作则在主从服务器断线并重连之后执行。