主从集群
提高 Redis 的并发能力,实现读写分离
主从数据同步原理
全量同步
Replication id: (replid)数据集的标记 id一致则说明为同一个数据集,每个 master 有唯一replid,slave 继承 master 节点的 replid
offset:偏移量 随着 repl_baklog 中的数据增多而逐渐增大 slave完成同步时也会同步offset 如果 slave 的 offset 小于 master 的 offset 说明 slave 数据落后于 master 需要更新
注:replid 与 offset 必须声明(在 slave 向 master 请求同步时)
第一阶段
- slave 执行 replicaof 命令建立连接
- slave 向 master 请求数据同步
- master 判断是否为第一次同步(判断 replid 是否一致)
- 若是第一次 返回 master 的数据版本信息给 slave(返回 replied 与 offset)
- slave 保存版本信息
第二阶段
- master 执行 bgsave 生产 RDB
- master 记录 RDB 之间的所有命令 repl_baklog
- master 发送 RDB文件
- slave 清空本地数据并加载 RDB文件
第三阶段
- master 发送repl_baklog中的命令
- slave 执行接收到的命令
增量同步
第一阶段
- slave 重新启动
- slave 向 master psync replid offset命令
- master 判断请求 replid 是否一致
- slave 非第一次 回复 continue
第二阶段
- master 获取 repl_baklog 中获取offset后的数据
- master 发送 offset 后的命令
- slave 执行接收到的命令
注:repl_baklog 大小有限,写满后将覆盖最早的数据 若 slave 断开时间过久,导致未备份的数据被覆盖,无法进行增量同步,只能再次全量同步
主从集群的优化
- master 中配置 repl-diskless-sync yes 启用无磁盘复制 避免全量同步时的磁盘IO
注:启用无磁盘复制需要较高的网络带宽,若网络带宽不足则会造成网络阻塞
- Redis 单节点上的内存占用不要过大,减少 RDB 导致的过多磁盘IO
- 适当提高 repl_baklog 的大小,发现 slave 宕机时尽快实现故障恢复,尽可能避免全量同步
- 限制一个 master 上 slave节点数量,可采用主-从-从链式结构,减少 master 压力
注:实现主-从-从结构时一slave 执行 slaveof 命令中IP地址指向另一 slave