redis-主从复制

redis-主从复制

单机redis的风险与问题

• 机器故障如硬盘障碍、系统崩溃，都可能导致数据丢失，造成灾难性后果
• 容量瓶颈，数据越来越多，硬件条件存在跟不上的情况

结论：可准备多台服务器互相连通，将数据复制多个副本保存在不同的服务器上，并保证数据同步。即使有其中一台服务器宕机，其他服务器依然可以继续提供服务，实现Redis的高可用，同时实现数据冗余备份。

多台服务器连接方案

• 主服务器：master
  • 被复制的服务器
  • 写数据
  • 执行写操作时，将出现变化的数据自动同步到slave
  • 读数据（可忽略）
• 从服务器：slave
  • 对主服务器进行复制的服务器
  • 读数据
  • 写数据（禁止）

假如现在有两个redis服务器，地址分别为127.0.0.1:6379和127.0.0.1:6380，在6380发送命令 slaveof 127.0.0.1:6379，则6380将成为6379的从服务器，在6379和6380的服务器窗口可查看详细信息

主从复制工作流程

1. 建立连接阶段：建立slave到master的连接，使master能够识别slave，并保存slave端口号

   • ① 设置主服务器的地址和端口，保存主服务器信息（masterhost、masterport）

• ② 建立套接字连接：如果slave创建的套接字能成功连接到master，那么slave将为这个套接字关联一个专门用于处理复制工作的文件事件处理器，这个处理器将负责执行后续的复制工作，比如接收RDB文件以及接收master传播过来的命令等。

• ③ 发送Ping命令：检查套接字的读写状态是否正确，检查master是否能正常处理命令请求。如果slave读到“Pong”，说明两者之间连接正常

• ④ 身份验证：如果slave设置了masterauth选项，那么进行身份验证；

• ⑤ 发送端口信息：slave发送 replconf listening-port <port-number> ,向master发送slave的监听端口号

2. 数据同步阶段

   • 在slave初次连接master后，复制master中的所有数据到slave

     1）从服务器连接主服务器，发送psync2命令；

     2）主服务器接收到psync2命名后，开始执行bgsave命令创建RDB文件并使用缓冲区记录此后执行的所有写命令；

     3）通过socket的、发送RDB文件给slave

     4）slave接收RDB，清空数据，执行RDB文件恢复过程，发送命令告知RDB恢复已经完成完成

     5）master发送复制缓冲区信息；

     6）slave接收信息，执行bgrewriteaof，恢复数据

   • 将slave的数据库状态更新成master当前的数据库状态

     • 过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令。

3. 命令传播阶段

   当master数据库状态被修改后，导致主从服务器数据库状态不一致，此时需要让主从数据同步到一致的状态，同步的动作称为命令传播

• 命令传播阶段出现了断网现象
   网络闪断闪连 忽略
   短时间网络中断 部分复制
   长时间网络中断 全量复制

• 部分复制的三个核心要素

  • 服务器的运行 id（run id）
    • 每一台服务器每次运行的身份识别码，由40位字符组成，是一个随机的十六进制字符，如果想两次操作均对同一台服务器进行，必须每次操作携带对应的运行id，用于对方识别
  • 主服务器的复制积压缓冲区
    • 复制缓冲区，又名复制积压缓冲区，是一个先进先出（FIFO）的队列，用于存储服务器执行过的命令，每次传播命令，master都会将传播的命令记录下来，并存储在复制缓冲区，默认数据存储空间大小是1M，由于存储空间大小是固定的，当入队元素的数量大于队列长度时，最先入队的元素会被弹出，而新元素会被放入队列
  • 主从服务器的复制偏移量
    • 描述复制缓冲区中的指令字节位置，master复制偏移量：记录发送给所有slave的指令字节对应的位置（多个）； slave复制偏移量：记录slave接收master发送过来的指令字节对应的位置（一个）

• 主服务器：master
  slave的指令字节对应的位置（多个）； slave复制偏移量：记录slave接收master发送过来的指令字节对应的位置（一个）

• 主服务器：master

• 从服务器：slave