REDIS主从全量复制sync和部分复制psync读书笔记

redis的psync主要由以下三个功能支持实现：

1）主从节点各自的偏移量offset（相互保存各自的偏移量，根据偏移量进行通知和同步）

2）主节点复制积压缓冲区（同步数据同时写入主节点缓冲区，方便同步过程中丢失之后的恢复）

3）主节点的运行id即runid（ip端口无法做唯一标识，因为重启之后数据更新了，所以是新的runid）

 

redis的全量复制sync的步骤如下图所示：

流程说明：

　　1）发送psync命令进行数据同步，由于是第一次进行复制，从节点没有复制偏移量和主节点的运行ID，所有发送psync-1

　　2）主节点根据psync-1解析出当前为全量复制，回复+FULLRESYNC响应。

　　3）从节点接收主节点的响应数据保存运行ID和偏移量offset，执行到当前步骤时从节点打印如下日志：

Partial resynchronization not possible (no cached master)
Full resync from master: 92d1cb14ff7ba97816216f7beb839efe036775b2:216789

　　4）主节点执行bgsave保存RDB文件到本地，主节点bgsave相关日志如下：

M * Full resync requested by slave 127.0.0.1:6380
M * Starting BGSAVE for SYNC with target: disk
C * Background saving started by pid 32618
C * RDB: 0 MB of memory used by copy-on-write
M * Background saving terminated with success

　　提示：Redis 3.0之后在输出的日志开头会有MSC等标识，对应的含义是：M=当前为主节点日志，S=当前为从节点日志，C=子进程日志。

　　save和bgsave的区别：save直接调用 rdbSave ，阻塞 Redis 主进程，直到保存完成为止。在主进程阻塞期间，服务器不能处理客户端的任何请求。BGSAVE 则 fork 出一个子进程，子进程负责调用 rdbSave ，并在保存完成之后向主进程发送信号，通知保存已完成。因为 rdbSave 在子进程被调用，所以 Redis 服务器在BGSAVE 执行期间仍然可以继续处理客户端的请求。

　　5）主节点发送RDB文件给从节点，从节点把接收的RDB文件保存在本地并直接作为从节点的数据文件，接收完RDB后从节点可以在日志中查看主节点发送的数据量：

16:24:03.057 * MASTER <-> SLAVE sync: receiving 24777842 bytes from master

　　注意：对于数据量大的主节点，比如生成的RDB文件超过6GB以上传输文件这一步操作非常耗时，速度取决于主从节点之间的网络带宽，针对数据量较大的节点，建议调大repl-timeout参数防止出现全量同步数据超时。

　　关于无盘复制：为了降低主节点的磁盘开销，Redis支持无盘复制，生成的RDB文件不保存到硬盘而是直接通过网络发送给从节点，通过repl-diskless-sync参数控制，默认关闭。无盘复制适用于主节点所在机器磁盘性能较差但网络带宽较充裕的场景。注意无盘复制目前依然处于试验阶段。

　　6）对于从节点开始接收RDB快照到接收完成期间，主节点仍然响应读写命令，因此主节点会把这期间写命令数据保存在复制客户端缓冲区内，当从节点加载完RDB文件后，主节点再把缓冲区内的数据发送给从节点，保证主从之间数据一致性。如果主节点创建和传输RDB的时间过长，对于高流量写入场景非常容易造成主节点复制客户端缓冲区溢出。默认配置为client-output-buffer-limit slave 256MB 64MB 60.如果60秒内缓冲区消耗持续大于64MB或者直接超过356MB时，主节点将直接关闭复制客户端连接，造成全量同步失败，日志如下：

M 27 May 12:13:33.669 # Client id=2 addr=127.0.0.1:24555 age=1 idle=1 flags=S
qbuf=0 qbuf-free=0 obl=18824 oll=21382 omem=268442640 events=r cmd=psync
scheduled to be closed ASAP for overcoming of output buffer limits.

　　因此需要根据主节点数据量和写命令并发量调整client-output-buffer-limit slave配置，避免全量复制期间客户端缓冲区溢出。

　　7）从节点接收完主节点传送来的全部数据后清空自身旧数据，该步骤对应如下日志：

16:24:02.234 * MASTER <-> SLAVE sync: Flushing old data

　　8）从节点清空数据后开始加载RDB文件，对于较大的RDB依然耗时。对于读写分离的场景，可以设置slave-serve-stale-data参数为no，关闭命令执行，在完成同步前不响应读命令。

　　9）从节点成功加载完RDB后，如果当前节点开启了AOF持久化功能，它会立刻做bgrewriteaof操作，为了保证全量复制后AOF持久化文件立刻可用。

　　RDB和AOF区别：RDB是将Redis某一时刻的数据持久化到磁盘上，类似于快照；AOF是将redis执行过的所有写指令记录下来，在下次redis重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复，默认每秒钟fsync一次。

redis的部分复制psync的步骤如下图所示：

流程说明：

　　1）当主从节点之间网络出现中断时，如果超过repl-timeout时间，主节点会认为从节点故障并中断复制链接。

　　2）主从连接中断期间主节点依然响应命令，写命令保存在复制积压缓冲区，默认最大缓存1MB。

　　3）当主从节点网络恢复后，从节点会再次连接主节点。

　　4）连接恢复后，由于从节点保存了自身已复制的偏移量和主节点的运行ID，因此会把他们当做psync参数发送给主节点，要求进行部分复制操作。

　　5）主节点接收到psync命令后首先核对参数runid，如果一致，说明之前复制的是当前主节点，之后根据参数offset在自身复制积压缓冲区查找，找到发送+CONTINUE响应。

　　6）主节点根据偏移量把复制积压缓冲区里的数据发送给从节点，保证主从复制进入正常状态。

 

哨兵模式说明：

Redis Sentinel通过三个定时监控任务完成对各个节点的发现和控制：

　　1）每隔10秒，每个sentinel节点会向主节点和从节点发送info命令获取最新的拓扑结构。通过解析info replication可以找到相应的从节点。此定时任务作用于三个方面：

　　- 通过向主节点执行info命令，获取从节点的信息。

　　- 当有新的节点加入时，可以立刻感知出来。

　　- 节点不可达或者故障转移后，可以通过info命令实时更新节点拓扑信息。

　　2）每隔2秒，每隔sentinel节点会向Redis数据节点的__sentinel__:hello频道上发送该sentinel节点对于主节点的判断以及当前sentinel节点的信息，同时每隔sentinel节点也会订阅该频道，来了解其他sentinel节点以及他们对主节点的判断，因此此任务主要作用如下：

　　- 发现新的sentinel节点

　　- sentinel节点之间交换主节点的状态，作为后面客观下线以及领导者选举的依据。

　　3）每隔1秒，每隔sentinel节点会向主节点、从节点、其他sentinel节点发送一条ping命令做一次心跳检测。

 

RDB&AOF

RDB:相当于快照，将当前redis内存数据快照到磁盘

当 Redis 需要做持久化时，Redis 会 fork 一个子进程，子进程将数据写到磁盘上一个临时 RDB 文件中。当子进程完成写临时文件后，将原来的 RDB 替换掉，这样的好处是可以 copy-on-write;

优点：小时级别或者分钟级别的备份，方便快速数据量小

缺点：当redis出现故障，小于分钟级别的数据会丢失

AOF：每一条写命令都记录下来

redis重启优先从aof读取数据

优点：可以恢复秒级数据

缺点：所有的写操作都记录下来，数据量会非常大