Redis 主从复制和哨兵模式

1.Redis 主从复制

概念

主从复制是指将一台Redis服务器的数据复制到其它Redis服务器上;前者被称为主节点(Master/Leader),后者称之为从节点(Slave/Follower);数据的复制是单向的,只能从主节点到从节点;Master以写为主,Slave以读为主;在默认的情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点,一个从节点只能有一个主节点;

主从复制的作用主要包括:

1.数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式;

2.故障恢复:当主节点产生问题,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务冗余;

3.负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务,分担服务器负载;

4.高可用(集群)基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,所以说主从复制是高可用的基石;

使用主从复制的原因:

1.从结构上来说,单个Redis服务器会发生单点故障,并且一台服务来处理所有的请求负载,压力较大;

2.从容量上来说,单个Redis服务器容量有限,一般来说,单台Redis的最大使用内存不因该超过20G;

环境配置

在默认的情况下,每台Redis服务器都是主节点,所以只需要配置从节点,不需要配置主节点,以下讲解以一主二从为例;

1.先复制3个配置文件,文件名可自定义,修改对应的信息:

在这里插入图片描述

  • 修对应配置文件的改端口号(可以自定义);

在这里插入图片描述

  • 修对应配置文件的pid(可以自定义);

在这里插入图片描述

  • 修改 log 文件名(可以自定义);

在这里插入图片描述

  • 修改dump.rdb名字(可以自定义);

在这里插入图片描述

2.依次启动 这三个Redis 服务;

在这里插入图片描述

2.1可以使用 info replication 命令查看三台机器的主从状态;

​ 可以看到此时这几台机器都是主节点;

在这里插入图片描述

在这里插入图片描述

3.配置主从,配置主从有两种方式,一是命令行的方式,二是修改配置文件,本讲采用命令行的方式;
3.1 修改配置文件的方式配置主从;

​ 打开从机的配置文件,找到 REPLICATION 模块,放开 replicaof 的注释,配置主机的 ip 端口;如果主机有密码,放开 masterauth 注释,配置密码;配置文件修改之后启动Redis服务之后,它自动会变成从机,根据配置文件中的主机端口地址找到对应的主机;

在这里插入图片描述

3.2 命令行的方式配置主从;
3.2.1.(认主机)执行SLAVEOF ip port 命令,ip ,port 为主机的地址端口;执行完成之后执行 info replication可以看到 role 从 master 变成了 slaveof ,说明6380服务已成为 6379端口的从机,6381(认主机)也是同样的操作;认主机操作完成之后,在6379服务上执行 info replication,可以看到 connected_Slaves 变成了2,Slave0和Slave1为两台从机的信息;

在这里插入图片描述

在这里插入图片描述

//主机信息
127.0.0.1:6379> info replication
# Replication
role:master // 主机
connected_slaves:2  //从机个数
slave0:ip=127.0.0.1,port=6380,state=online,offset=46439,lag=1 //从机地址端口信息
slave1:ip=127.0.0.1,port=6381,state=online,offset=46439,lag=1
master_replid:e8a5848503e462699cca3f0d724d938d1bcc8f4b
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:46439
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:46439

//从机信息
127.0.0.1:6380> info replication
# Replication
role:slave //从机
master_host:127.0.0.1 //主机地址
master_port:6379  //主机端口
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:46369
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:e8a5848503e462699cca3f0d724d938d1bcc8f4b
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:46369
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:46369
127.0.0.1:6380> 
3.2.2主从复制测试;

1.正常情况测试:

​ 主机可读可写,从机只可读,不可写;主机的所有信息和数据都会保存在从机中;

在这里插入图片描述

2.异常情况测试:

​ 2.1主机宕机;

	主机断开连接,从机依旧可以连接到主机,但是没有写入操作;如果主机恢复了,从机依旧可以直接获取到主机写入的数据;

在这里插入图片描述

在这里插入图片描述

​ 2.2从机宕机;

如果是使用的命令行配置的主从关系,则从机宕机,恢复之后会自动变成从机,需要再次配置;若是配置文件配置的主从,从机宕机,恢复之后依旧是从机;

在这里插入图片描述

复制原理

Save 启动成功连接到 master 后会发送一个 sync 命令;Master 接到命令后,启动后台存盘进程,同时收集所有接收到用于修改数据集的命令,在后台执行完毕后,Matser将传送整个文件到 slave ,并完成一次完全同步;

全量复制:slave服务在接收到数据库文件数据后,将其存盘并加载到内存中;

增量复制: Master 继续将新的所有收集到的修改命令依次传给slave,完成同步;

如果是重新连接到master,将会自动执行一次完全同步即全量复制,主机的数据就可以在从机中读到;

3.层层链路(上一个Master的从机是下一个从机的Master)

在这里插入图片描述

在这里插入图片描述

这种模式也可以完成主从复制,此时如果6379主节点断开之后,6380和6381仍然是从节点,只能手动(slaveof no one)将6380设置成主节点;

2.哨兵模式

概述

哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。

在这里插入图片描述

  • 通过发送命令,让Redis服务器返回监控其运行状态,包括主服务器和从服务器。
  • 当哨兵监测到master宕机,会自动将slave切换成master,然后通过发布订阅模式通知其他的从服务器,修改配置文件,让它们切换主机。

然而一个哨兵进程对Redis服务器进行监控,可能会出现问题,为此,我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控,这样就形成了多哨兵模式。

在这里插入图片描述

用假设主服务器宕机,哨兵1先检测到这个结果,系统并不会马上进行failover过程,仅仅是哨兵1主观的认为主服务器不可用,这个现象成为主观下线。当后面的哨兵也检测到主服务器不可用,并且数量达到一定值时,那么哨兵之间就会进行一次投票,投票的结果由一个哨兵发起,进行failover操作。切换成功后,就会通过发布订阅模式,让各个哨兵把自己监控的从服务器实现切换主机,这个过程称为客观下线

哨兵模式使用

举例(一主二从)

1.配置哨兵配置文件 sentinel.conf

# sentinel monitor 被监控的名称  主机地址   端口  1
sentinel   monitor  mymaster  127.0.0.1  6379 1

后面的数字1,代表主机宕机后,slave 投票选新的主机,谁的票数多,就成为主机;

2.启动哨兵

可以看到哨兵日志中打印出了被监控主机的 地址端口,以及它对应的从机信息;

59062:X 13 Aug 2021 16:45:50.176 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
59062:X 13 Aug 2021 16:45:50.474 # Sentinel ID is 3ae755820ff881bc290c296f2c92b37e79b5d002
//主机信息
59062:X 13 Aug 2021 16:45:50.474 # +monitor master mymaster 127.0.0.1 6379 quorum 1
//从机信息
59062:X 13 Aug 2021 16:45:50.475 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:45:50.476 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379

在这里插入图片描述

3.故障测试

  • 停掉主机后,此时 sentinel 监控到主机宕机,开始进行投票,最终选择 6380 为新的主机;
59062:X 13 Aug 2021 16:53:36.037 # +sdown master mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:36.037 # +odown master mymaster 127.0.0.1 6379 #quorum 1/1
59062:X 13 Aug 2021 16:53:36.037 # +new-epoch 1
59062:X 13 Aug 2021 16:53:36.037 # +try-failover master mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:36.039 # +vote-for-leader 3ae755820ff881bc290c296f2c92b37e79b5d002 1
59062:X 13 Aug 2021 16:53:36.039 # +elected-leader master mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:36.039 # +failover-state-select-slave master mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:36.130 # +selected-slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:36.130 * +failover-state-send-slaveof-noone slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:36.183 * +failover-state-wait-promotion slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:37.188 # +promoted-slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:37.188 # +failover-state-reconf-slaves master mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:37.188 * +slave-reconf-sent slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:38.120 * +slave-reconf-inprog slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:38.120 * +slave-reconf-done slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:38.221 # +failover-end master mymaster 127.0.0.1 6379
59062:X 13 Aug 2021 16:53:38.221 # +switch-master mymaster 127.0.0.1 6379 127.0.0.1 6380
59062:X 13 Aug 2021 16:53:38.221 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6380
59062:X 13 Aug 2021 16:53:38.221 * +slave slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6380
59062:X 13 Aug 2021 16:54:08.225 # +sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6380

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 如果之前的主机恢复了,只能归并到新的主机下当作从机;

在这里插入图片描述

在这里插入图片描述

哨兵模式优缺点

优点:

哨兵集群,基于主从复制模式,所有主从复制的优点,它都有
主从可以切换,故障可以转移,系统的可用性更好
哨兵模式是主从模式的升级,手动到自动,更加健壮
缺点:

Redis不好在线扩容,集群容量一旦达到上限,在线扩容就十分麻烦

哨兵模式的全部配置

# Example sentinel.conf
 
# 哨兵sentinel实例运行的端口 默认26379
port 26379
 
# 哨兵sentinel的工作目录
dir /tmp
 
# 哨兵sentinel监控的redis主节点的 ip port 
# master-name  可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 1
 
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
 
 
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
 
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步,
这个数字越小,完成failover所需的时间就越长,
但是如果这个数字越大,就意味着越 多的slave因为replication而不可用。
可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
 

# 故障转移的超时时间 failover-timeout 可以用在以下这些方面: 
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。  
#4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
 
# SCRIPTS EXECUTION
 
#配置当某一事件发生时所需要执行的脚本,可以通过脚本来通知管理员,例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则:
#若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10
#若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。
 
#通知型脚本:当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,
#这时这个脚本应该通过邮件,SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,
#一个是事件的类型,
#一个是事件的描述。
#如果sentinel.conf配置文件中配置了这个脚本路径,那么必须保证这个脚本存在于这个路径,并且是可执行的,否则sentinel无法正常启动成功。
#通知脚本
# sentinel notification-script <master-name> <script-path>
  sentinel notification-script mymaster /var/redis/notify.sh
 
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”,
# <role>是“leader”或者“observer”中的一个。 
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh
  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值