第二部分:Redis数据库的三种模式(①:主从复制)


以下是本篇文章正文内容,如有错误麻烦请指出。 谢谢 !!!


一、主从复制简介

1、为什么选用主从复制

  1. 当前互联网 “三高:高并发,高性能,高可用” 架构,导致单机Redis承载更多的风险问题
    (1)机器故障: 数据丢失;
    (2)容量瓶颈: 内存不足,无限升级内存,成本费用太大。

2、主从复制作用

  1. 为了避免单点Redis服务器故障,准备多台服务器,互相连通。将数据复制多个副本保存在不同的服务器上,连接在一起,并保证数据是同步的。即使有其中一台服务器宕机,其他服务器依然可以继续提供服务,实现Redis的高可用,同时实现数据冗余备份;
  2. 读写分离: master写、slave读,提高服务器的读写负载能力;
  3. 负载均衡: 基于主从结构,配合读写分离,由slave分担master负载,并根据需求的变化,改变slave的数量,通过多个从节点分担数据读取负载,大大提高Redis服务器并发量与数据吞吐量;
  4. 故障恢复: 当master出现问题时,由slave提供服务,实现快速的故障恢复;
  5. 数据冗余: 实现数据热备份,是持久化之外的一种数据冗余方式;
  6. 高可用基石: 基于主从复制,构建哨兵模式与集群,实现Redis的高可用方案

3、主从复制之多台服务器连接方案

在这里插入图片描述

  1. 提供数据方:Master(主服务器,主节点,主库,主客户端);
    (1)写数据
    (2)执行写操作时,将出现变化的数据自动同步到Slave
    (3)读数据(可忽略)
  2. 接收数据方:Slave(从服务器,从节点,从库,从客户端);
    (1)读数据
    (2)写数据(禁止)
  3. 需要解决的问题:数据同步
  4. 核心工作:Master的数据复制到Slave中。

4、Redis的复制功能介绍

  1. Redis 提供了 复制(Replication) 功能,可以实现当一台数据库中的数据更新后,自动将更新的数据同步到其他数据库上;
  2. 在复制的概念中,数据库分为两类,一类是主数据库(Master),另一类是从数据库(Slave);
  3. 主数据库可以进行读写操作,当写操作导致数据变化时会自动将数据同步给从数据库。而从数据库一般是只读的,并接受主数据库同步过来的数据;
  4. 一个主数据库可以拥有多个从数据库,而一个从数据库只能拥有一个主数据库。

5、主从复制的目的

  1. 读写分离,分担 Master 的读写压力
  2. 方便做容灾恢复

二、主从复制工作流程

1、主从复制:三个阶段

(1)建立连接阶段(即准备阶段)
(2)数据同步阶段
(3)命令传播阶段
在这里插入图片描述

2、阶段一:建立连接阶段

  1. 1. 描述
    (1)建立Slave到Master的连接,使Master能够识别Slave,并保存Slave端口号。

  2. 2. 工作流程
    步骤1: Slave通过命令:“slaveof ip port” 连接Master;
    步骤2: Master接收到消息并响应对应的Slave,同时Slave保存Master的IP与端口并创建Socket连接;
    步骤3: Slave周期性向Master发送ping命令 (定时器任务),同时Master响应pong消息;
    步骤4: Slave发送身份验证指令给Master并验证授权
    步骤5: Slave发送自己的端口信息给Master,Master保存对应的端口号。至此,主从连接成功!
    最后Master与Slave各自的状态:
    (1)Slave保存Master的地址与端口
    (2)Master保存Slave的端口
    在这里插入图片描述

  3. 3. 主从连接方式

(1)客户端发送命令 (不推荐)

slaveof <masterip> <masterport>

(2)启动服务器参数 (不推荐)

redis-server -slaveof <masterip> <masterport>

(3)通过配置服务器文件 (推荐)

slaveof <masterip> <masterport>
  1. 4. 主从断开连接

(1)客户端发送命令

slaveof no one

(2)说明
Slave断开连接后,不会删除已有数据,只是不再接受Master发送的数据

  1. 5.授权访问

(1)Master客户端发送命令设置密码

requirepass <password>

(2)Master配置文件设置密码

# 设置密码
config set requirepass <password>
# 获取密码
config get requirepass 

(3)Slave客户端发送命令设置密码

auth <password>

(4)Slave配置文件设置密码

masterauth <password>

(5)Slave启动服务器设置密码

redis-server –a <password>

3、阶段二:数据同步阶段

  1. 1. 描述
    (1)在Slave初次连接Master后,复制Master中的所有数据到Slave;
    (2)将Slave的数据库状态更新成Master当前的数据库状态。

  2. 2. 工作流程
    步骤1: Slave发送**“psync2”**指令到Master,请求同步数据。
    步骤2: Master执行 “bgsave” 指令生成此时Master当前状态下的 RDB文件,通过之前创建的Socket连接发送RDB文件给Slave(注意:第一个Slave连接时就创建命令缓冲区);
    步骤3: Slave接收RDB文件,清空当前的RDB数据文件,执行RDB文件恢复过程,RDB文件恢复完成以后发送命令告诉Master已经恢复完成;
    步骤4: Master发送复制缓冲区信息给Slave,Slave接收信息并执行 bgrewriteaof,恢复数据;
    步骤5: Slave发送指令恢复部分同步数据,Master接收到指令响应Slave。至此,数据同步工作完成!
    最后Master与Slave各自的状态:
    (1)Slave具有Master端全部数据,包含RDB过程接收的数据;
    (2)Master保存Slave当前数据同步的位置。
    在这里插入图片描述

  3. 数据同步阶段Master说明
    (1)如果Master数据量巨大,数据同步阶段应避开流量高峰期,避免造成Master阻塞,影响业务正常执行;
    (2)复制缓冲区大小设定不合理,会导致数据溢出。如进行全量复制周期太长,进行部分复制时发现数据已经存在丢失的情况,必须进行第二次全量复制,致使Slave陷入死循环状态;
    (3)Master单机内存占用主机内存的比例不应过大,建议使用50%-70%的内存,留下30%-50%的内存用于执行bgsave命令创建复制缓冲区

     # 复制缓冲区大小设置 默认是: 1M
     repl-backlog-size 1mb
    
  4. 数据同步阶段Slave说明
    (1)为避免Slave进行全量复制、部分复制时服务器响应阻塞或数据不同步,建议关闭此期间的对外服务,通过添加配置文件内容:**“slave-serve-stale-data yes|no”**来实现;
    (2)数据同步阶段,Master发送给Slave信息可以理解Master是Slave的一个客户端,主动向Slave发送命令;
    (3)多个Slave同时对Master请求数据同步,Master发送的RDB文件增多,会对带宽造成巨大冲击,很容易造成Master带宽不足,因此数据同步需要根据业务需求,适量错峰;
    (4)Slave过多时,建议调整拓扑结构,由一主多从结构变为树状结构,中间的节点既是Master,也是Slave。注意 使用树状结构时,由于层级深度,导致深度越高的slave与最顶层master间数据同步延迟较大,数据一致性变差,应谨慎选择。

4、阶段三:命令传播阶段

  1. 1. 描述
    (1)当Master数据库状态被修改后,导致主从服务器数据库状态不一致,此时需要让主从数据同步到一致的状态,同步的动作称为命令传播;
    (2)Master将接收到的数据变更命令发送给Slave,Slave接收命令后执行命令。

  2. 2. 命令传播阶段的部分复制

  • 1: 命令传播阶段出现了断网现象
    (1) 网络闪断闪连 ---------- 忽略
    (2) 短时间网络中断 ------- 部分复制
    (3) 长时间网络中断 ------- 全量复制
  • 2: 部分复制的三个核心要素
    (1) 服务器的运行 id(run id)
    (2) 主服务器的复制积压缓冲区
    (3) 主从服务器的复制偏移量
  1. 3. 服务器运行ID(runid)
    (1)概念: 服务器运行ID是每一台服务器每次运行的身份识别码,一台服务器多次运行可以生成多个运行id;
    (2)组成: 运行id由40位字符组成,是一个随机的十六进制字符;
    例如:fdc9ff13b9bbaab28db42b3d50f852bb5e3fcdce
    (3)作用: 运行id被用于在服务器间进行传输,识别身份,如果想两次操作均对同一台服务器进行,必须每次操作携带对应的运行id,用于对方识别;
    (4)实现方式: 运行id在每台服务器启动时自动生成的,Master在首次连接Slave时,会将自己的运行ID发送给Slave,Slave保存此ID,通过info Server命令,可以查看节点的runid

  2. 4. 复制缓冲区
    (1)概念: 复制缓冲区,又名复制积压缓冲区,是一个先进先出(FIFO)的队列,用于存储服务器执行过的命令,每次传播命令,Master都会将传播的命令记录下来,并存储在复制缓冲区。
    在这里插入图片描述

  3. 5. 复制缓冲区内部工作原理
    在这里插入图片描述

  4. 6. 主从服务器复制偏移量(offset)
    (1)概念: 一个数字,描述复制缓冲区中的指令字节位置
    (2)分类:
    Master复制偏移量: 记录发送给所有Slave的指令字节对应的位置(多个)
    Slave复制偏移量: 记录slave接收Master发送过来的指令字节对应的位置(一个)
    (3)数据来源:
    Master端:发送一次记录一次
    Slave端: 接收一次记录一次
    (4)作用: 同步信息,比对Master与Slave的差异,当Slave断线后,恢复数据使用。

5、数据同步+命令传播阶段工作流程

在这里插入图片描述

6、心跳机制

  1. 进入命令传播阶段时候,Master与Slave间需要进行信息交换,使用心跳机制进行维护,实现双方连接保持在线;
  2. Master心跳任务
    指令:PING
    周期:由repl-ping-slave-period决定,默认10秒
    作用:判断slave是否在线
    查询:INFO replication -------- 获取slave最后一次连接时间间隔,lag项维持在0或1视为正常
  3. Slave心跳任务
    指令:REPLCONF ACK {offset}
    周期:1秒
    作用1:汇报Slave自己的复制偏移量,获取最新的数据变更指令
    作用2:判断Master是否在线
  4. 心跳阶段注意事项

(1)当Slave多数掉线,或延迟过高时,Master为保障数据稳定性,将拒绝所有信息同步操作;

min-slaves-to-write 2
min-slaves-max-lag 10
# 说明:Slave数量少于2个,或者所有Slave的延迟都大于等于10秒时,强制关闭Master写功能,停止数据同步。

(2)Slave数量由Slave发送REPLCONF ACK命令做确认
(3)Slave延迟由Slave发送REPLCONF ACK命令做确认

7、主从复制工作流程(完整)

在这里插入图片描述

三、主从复制常见问题

1、频繁的全量复制一

  1. 伴随着系统的运行,Master的数据量会越来越大,一旦Master重启,runid将发生变化,会导致全部Slave的全量复制操作

  2. 内部优化调整方案:

(1)Master内部创建master_replid变量,使用runid相同的策略生成,长度41位,并发送给所Slave
(2)在Master关闭时执行命令 shutdown save,进行RDB持久化,将runid与offset保存到RDB文件中

repl-id
repl-offset 
通过redis-check-rdb命令可以查看该信息

(3)Master重启后加载RDB文件,恢复数据

重启后,将RDB文件中保存的repl-id与repl-offset加载到内存中
master_repl_id = repl
master_repl_offset = repl-offset
通过info命令可以查看该信息
  1. 作用
    本机保存上次runid,重启后恢复该值,使所有Slave认为还是之前的Master

2、频繁的全量复制二

  1. 问题现象
    (1)网络环境不佳,出现网络中断,Slave不提供服务。
  2. 问题原因
    (1)复制缓冲区过小,断网后Slave的offset越界,触发全量复制。
  3. 最终结果
    (1)Slave反复进行全量复制。
  4. 解决方案

(1)修改复制缓冲区大小

	repl-backlog-size
  1. 建议设置如下:

     1. 测算从Master到Slave的重连平均时长second
     2. 获取Master平均每秒产生写命令数据总量write_size_per_second
     3. 最优复制缓冲区空间 = 2 * second * write_size_per_second
    

3、频繁的网络中断一

  1. 问题现象
    (1)Master的CPU占用过高 或 Slave频繁断开连接。
  2. 问题原因
    (1)Slave每1秒发送REPLCONF ACK命令到Master;
    (2)当Slave接到了慢查询时(keys * ,hgetall等),会大量占用CPU性能;
    (3)Master每1秒调用复制定时函数replicationCron(),比对Slave发现长时间没有进行响应。
  3. 最终结果
    (1)Master各种资源(输出缓冲区、带宽、连接等)被严重占用。
  4. 解决方案

(1)通过设置合理的超时时间,确认是否释放Slave

repl-timeout
# 该参数定义了超时时间的阈值(默认60秒),超过该值,释放Slave

4、频繁的网络中断二

  1. 问题现象
    (1)Slave与Master连接断开
  2. 问题原因
    (1)Master发送ping指令频度较低
    (2)Master设定超时时间较短
    (3)ping指令在网络中存在丢包
  3. 解决方案

(1)提高ping指令发送的频度

repl-ping-slave-period
# 超时时间repl-time的时间至少是ping指令频度的5到10倍,否则Slave很容易判定超时

5、数据不一致

  1. 问题现象
    (1)多个Slave获取相同数据不同步。

  2. 问题原因
    (1)网络信息不同步,数据发送有延迟。

  3. 解决方案
    (1)优化主从间的网络环境,通常放置在同一个机房部署,如使用阿里云等云服务器时要注意此现象;
    (2)监控主从节点延迟(通过offset)判断,如果Slave延迟过大,暂时屏蔽程序对该Slave的数据访问。

     slave-serve-stale-data yes|no
     # 开启后仅响应info、slaveof等少数命令(慎用,除非对数据一致性要求很高)
    

对以前的知识回顾,加深基础知识!
每天进步一点点,也许某一天你也会变得那么渺小!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值