redis集群之主从复制

redis集群之主从复制

1.互联网三高架构

多台服务器连接方案

2.高可用集群

为了防止master宕机，可用设置master集群

3.主从复制的作用

• 读写分离：master写，slave读，提高服务的读写负载能力
• 负载均衡：基于主从结构，配合读写分离，由slave分担master负载，并根据需求的变化，改变slave的数量，通过多个从节点分担数据读取负载，大大提高Redis服务器并发量与数据吞吐量
• 故障恢复：当master出现问题时，由slave提供服务，实现快速的故障恢复
• 数据冗余：实现数据热备份，是持久化之外的一种数据冗余方式
• 高可用基石：基于主从复制，构建哨兵模式与集群，实现Redis的高可用方案

4.主从复制的工作流程

- 主从复制过程大体可用分为3个阶段
- 建立连接阶段
- 数据同步阶段
- 命令传播阶段

阶段一：建立连接工作流程

步骤一：设置master的地址和端口，保存master信息
步骤二：建立socker连接
步骤三：发送ping指定（定时任务）
步骤四：身份认证
步骤五：发送slave端口信息
状态：
slave：保存master的地址和端口
master：保存slave的端口
总体：之前创建了连接的socket

	slave发送命令
		slaveof  [master主机号] 端口号]
	启动时加在命令上 
		--slaveof  [master主机号]
	在配置文件中添加
		slaveof [master主机号] [端口号]
	查看信息 
		info 
	客户端发送命令-主从断开连接
		slaveof no one	

授权访问

数据同步阶段

步骤一：请求同步数据
步骤二：创建RDB同步数据
步骤三：恢复RDB同步数据
步骤四：请求部分同步数据
步骤五：恢复部分同步数据
状态
slave：具有master端全部数据，包含RDB过程接受的数据
master：保存slave当前数据同步的位置
总体： 之间完成了数据克隆

数据同步包括全量复制和部分复制

• 全量复制：在执行bgsave指令后，生成当前的RDB文件，slave接受RDB执行RDB文件恢复
• 部分复制：在执行bgsave指令后，获取master的复制缓冲区 slave接受信息，并执行bgwriteof，恢复数据

数据同步阶段在master说明

• 如果master数据量巨大，数据同步阶段应避开流量高峰期，避免造成master阻塞，影响业务正常执行

• 复制缓冲区大小设定不合理，会导致数据溢出。如果进行全量复制周期太长，进行部分复制时发现数据已经存在丢失的情况，必须进行第二次全量复制，致使slave陷入死循环状态

  	repl-backlog-size 1mb #默认 修改复制缓冲区大小
  

• master单机内存占用主机内存的比例不应过大，建议使用50%-70%的内存，留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区

数据同步阶段slave说明

• 为避免slave进行全量复制、部分复制时服务器响应阻塞或数据不同步，建议关闭数据同步阶段的对外服务

slave-serve-stale-data yes|no  ##

• 数据同步阶段，master发送给slave信息可以理解master是slave的一个客户端，主动向slave发送命令
• 多个slave同时对master请求数据同步，master发送的RDB文件增多，会对带宽造成巨大冲击，如果master带宽不足，因此数据同步需要根据业务需求，适量错峰
• slave过多时，建议调整拓扑结构，由一主多从结构变为树状结构，中间的节点既是master，也是slave。注意使用树状结构时，由于层级深度，导致深度越高的slave与最顶层master间数据同步延迟较大，数据一致性变差，应谨慎选择

命令传播阶段

• 命令传播阶段出现断网现象
  • 网络闪断闪连 忽略
  • 短时间网络终端 部分复制
  • 长时间网络中断 全量复制
• 部分复制的三个核心要素
  • 服务器的运行id（run id）
  • 主服务器的复制积压在缓冲区
  • 主从服务器的复制偏移量
    

部分复制的复制缓冲区

概念：
是一个先进先出（FIFO）的队列，用于存储服务器执行过的命令，每次传播命令，master都会将传播的命令记录下来，并存储在复制缓冲区。默认存储空间大小是1M（可配置），由于存储空间大小是固定的，当入队元素的数量大于队列长度时，最先入队的元素会被弹出，而新元素会被放入队列

• 由来： 每台服务器启动时，如果开启有AOF或被链接成为master节点，即创建复制缓冲区
• 作用： 用来保存master收到的所有指令（仅影响数据变更的指令，例如set、select）
• 数据来源： 当master接收到主客户端的指令时，除了将指令执行，会将该指令存储到缓冲区中

为了解决由于突发原因（网络不通等…），只有部分slave同步了master的数据的问题，redis需要使用一个复制积压缓冲区

工作原理

master记录给不同slave发送的信息对应的offset，slave记录已接收的信息对应的offset，通过offset区分不同的slave当前数据传播的差异

主从服务器复制偏移量（offset）

• 概念： 一个数字，描述复制缓冲区中的位置
• 作用： 同步信息，对比master与slave的差异，当slave断线后，恢复数据使用
• master需要记录给多个slave发送数据对应的位置（多个），发送一次记录一次；slave需要记录master发送过来的数据对应的位置（一个），接收一次记录一次

数据同步+命令传播的阶段工作流程

心跳机制

心跳阶段注意事项

• 当slave多数掉线，或延迟过高，master为保障数据稳定性，将拒绝所有的信息同步操作

 min-slaves-to-write 2
 min-slaves-to-lag 8
 	slave数量少于2个，或者所有的slave的延迟都大于等于10秒时，强制关闭master写功能，停止数据同步

• slave数量有slave发送REPLCONF ACK命令做确认
• slave延迟有slave发送REPLCONF ACK命令做确认
  

主从复制的常见问题

1. 频繁的全量复制

2.频繁的网络中断（1）

3.频繁的网络中断（2）

数据不同步问题