Redis主从复制

Redis主从工作原理

如果你为master配置了一个slave，不管这个slave是否是第一次连接上Master，它都会发送一个PSYNC命令给master请求复制数据。master收到PSYNC命令后，会在后台进行数据持久化通过bgsave生成最新的rdb快照文件，持久化期间，master会继续接收客户端的请求，它会把这些可能修改数据集的请求缓存在内存中。当持久化进行完毕以后，master会把这份rdb文件数据集发送给slave，slave会把接收到的数据进行持久化生成rdb，然后再加载到内存中。然后，master再将之前缓存在内存中的命令发送给slave。当master与slave之间的连接由于某些原因而断开时，slave能够自动重连Master，如果master收到了多个slave并发连接请求，它只会进行一次持久化，而不是一个连接一次，然后再把这一份持久化的数据发送给多个并发连接的slave。

主从复制(全量复制)流程图：

数据部分复制

当master和slave断开重连后，一般都会对整份数据进行复制。但从redis2.8版本开始，Redis改用可以支持部分数据复制的命令PSYNC去master同步数据，slave与master能够在网络连接断开重连后只进行部分数据复制(断点续传)。master会在其内存中创建一个复制数据用的缓存队列，缓存最近一段时间的数据，master和它所有的slave都维护了复制的数据下标offset和master的进程id，因此，当网络连接断开后，slave会请求master继续进行未完成的复制，从所记录的数据下标开始。如果master进程id变化了，或者从节点数据下标offset太旧，已经不在master的缓存队列里了，那么将会进行一次全量数据的复制。主从复制(部分复制，(断点续传)流程图：

总结：

主从同步分为两个类型：

• 全量同步
  全量同步redis 会执行bgsave 来生成rdb文件，然后发送给从库，从库接收之前会先清空从库的数据空，防止之前有数据造成数据的污染，接收完rdb文件之后，就会就加载rdb文件到内存，这是同步其实并没有完成，在进行生成rdb文件的时候，还会有新的写请求过来，此时这些写请求会缓存在一个缓冲区内，这个缓冲区叫做replication buffer，当从库加载完rdb之后，就会接收这个缓冲区的所有写命令了，到此全量复制就结束了。

由于生产rdb是会阻塞主线程，这个过程很耗费资源，如果采用一个主多个从的方式，那么势必会增加主库的压力，可以选择一个从，再从库上再分裂出一个从或者多个从，来减少主库的压力。

如果想要快速的生成rdb文件 ，应该减少redis设置内存的大小，这样生成rdb文件就会很快，减少阻塞的时间。

• 增量同步
  如果主从断开连接了，redis 主库会判断是进行全量复制还是增量复制，主库会根据从库发送过来的runID和从库复制进行offset，如果runID和主库的ID相同，并且主从的offset差距没有超过repl_backlog_buffer缓冲区的长度，就会复制offset之间的repl_backlog_buffer的命令给Slave。

• 两个缓冲区：

replication buffer
replication buffer 是在从库和主库建立连接成功后创建的，在主从断开后，这个缓冲区也会被主库进行删除，主从库之间复制命令的传输，都会经过这个buffer，而且这个buffer是每个从库独有的。

repl_backlog_buffer
开始进行命令传输之前，就会建立好这个buffer，这个buffer记录当前Master接收到的新的写操作命令offset和命令本身，是所有Slave公用的buffer，Slave 发送psync之后，会和Master的offset进行比较，来决定是否进行增量复制。

• 注意点：
  1、redis 实例的内存大小不要设置太大，这样能够缩短生成rdb文件的时间，同时也能缩短全量复制的时间，减少带宽的占用。
  2、如果从库和主库断开连接超时很长，那么repl_backlog_buffer缓冲区内的数据很可能就会被覆盖了，进而会退化为全量复制了，此时可以设置repl_backlog_size 这个参数设置大些。
  3、replication buffer，这个缓冲区也要留意，如果从库接收的很慢，这个缓冲区会满，redis可能就会OOM了，如果这个buffer满了redis 会怎么处理，redis提供了client-output-buffer-limit参数限制这个buffer的大小，如果满了，主库会和从断开连接，删除buffer，如果从再来请求链接，可能会造成恶性循环。