Redis笔记11-Redis主从复制和哨兵模式

概念

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master/leader)，后者称为从节点(slave/follower)；数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。
默认情况下，每台Redis服务器都是主节点，且一个主节点可以有多个从节点，也可以没有从节点，但是一个从节点只能有一个主节点。
主从复制的作用主要包括︰

1. 数据冗余∶主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
2. 故障恢复︰当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复，实际上是一种服务的冗余。
3. 负载均衡∶在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载，尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
4. 高可用基石︰除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的，原因如下：

1. 从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大;
2. 从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量为256G，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20G。

环境配置

我们要做一主二从的搭建，打开4个客户端（一主二从和一个测试）。
将redis.conf复制出来多份：redis-6379.conf、redis-6380.conf、redis-6381.conf。
redis-6379.conf

# bind 127.0.0.1 -::1 # 注释掉
protected-mode no # 关闭保护模式
port 6379 # 端口号
daemonize yes # 开启后台运行
pidfile /var/run/redis_6379.pid # pidfile
logfile "6379.log" # 指定log文件
dbfilename dump6379.rdb # 指定rdb文件

redis-6380.conf

# bind 127.0.0.1 -::1 # 注释掉
protected-mode no # 关闭保护模式
port 6380 # 端口号
daemonize yes # 开启后台运行
pidfile /var/run/redis_6380.pid # pidfile
logfile "6380.log" # 指定log文件
dbfilename dump6380.rdb # 指定rdb文件

redis-6381.conf

# bind 127.0.0.1 -::1 # 注释掉
protected-mode no # 关闭保护模式
port 6381 # 端口号
daemonize yes # 开启后台运行
pidfile /var/run/redis_6381.pid # pidfile
logfile "6381.log" # 指定log文件
dbfilename dump6381.rdb # 指定rdb文件

启动3台redis服务。

[root@localhost redis-6.2.0]# cd /usr/local/bin/
[root@localhost bin]# redis-server /usr/redis-6.2.0/redis-6379.conf
[root@localhost bin]# redis-server /usr/redis-6.2.0/redis-6380.conf
[root@localhost bin]# redis-server /usr/redis-6.2.0/redis-6381.conf
[root@localhost bin]# ps -ef | grep redis
root     108673      1  0 19:50 ?        00:00:00 redis-server *:6379
root     108709      1  0 19:51 ?        00:00:00 redis-server *:6380
root     108739      1  1 19:51 ?        00:00:00 redis-server *:6381
root     108769   1612  0 19:51 pts/0    00:00:00 grep --color=auto redis

启动redis-cli之后，可以使用info replication查看主从信息，在未配置主从之前，3台机器都是主机。
假设我们以6379作为主，6380和6381作为从，那么在6380和6381上使用命令slaveof ip port指定主机的地址（临时操作，重启后失效）。也就是告诉6380和6381它们的主机是谁，简称“认老大”。之后使用info replication命令查看一下主从信息，确认下是否配置正确。
redis-6380：

[root@localhost bin]# redis-cli -p 6380
127.0.0.1:6380> slaveof 127.0.0.1 6379
OK
127.0.0.1:6380> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:42
slave_priority:100
slave_read_only:1
connected_slaves:0
master_failover_state:no-failover
master_replid:e13a6d7d29c5f631e42af4b8bf85f148bb73255d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:42
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:42

redis-6381

[root@localhost bin]# redis-cli -p 6381
127.0.0.1:6381> slaveof 127.0.0.1 6379
OK
127.0.0.1:6381> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:28
slave_priority:100
slave_read_only:1
connected_slaves:0
master_failover_state:no-failover
master_replid:e13a6d7d29c5f631e42af4b8bf85f148bb73255d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:28
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:15
repl_backlog_histlen:14

redis-6379

[root@localhost bin]# redis-cli -p 6379
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6380,state=online,offset=42,lag=1
slave1:ip=127.0.0.1,port=6381,state=online,offset=42,lag=1
master_failover_state:no-failover
master_replid:e13a6d7d29c5f631e42af4b8bf85f148bb73255d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:42
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:42

这里是通过命令动态指定的主从，也就是临时操作，下次重启后，主从信息还需要重新指定，所以，一般我们需要把主从的信息写到配置文件中。
找到replication部分，添加一个replicaof <masterip> <masterport>，告诉从机，哪个是主机，重启之后，就自动变成从机了。
在Redis的主从中，从机只能读不能写，如果写会报错，主机可读可写。在主机里面执行一次set，在从机里就可以get到，此时说明主从配置成功。
此时，如果主机shutdown了，那么这个主从就无法写了，读依旧是正常的，而且从机的配置信息也不会变动，依旧认6379为主机。当主机再次连上后，系统又恢复了正常。
后面会讲到哨兵，自动切换。

复制原理

Slave启动成功连接到Master后会发送一个sync同步命令。
Master接到命令，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，Master将传送整个数据文件到Slave，并完成一次完全同步。
全量复制：Slave在连接Master的时候，会做一次全量复制，Slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。
增量复制：每次的set可以看做是增量复制，Master继续将新的所有收集到的修改命令依次传给Slave，完成同步但是只要是重新连接Master，一次完全同步(全量复制)将被自动执行。
这里再介绍一个命令：slaveof no one。这个命令可以让自己变成主机。

哨兵模式

哨兵模式可以自动监控主机是否故障，如果主机故障了，根据投票自动将从库变成主库。
哨兵模式是一种特殊的模式，哨兵是一个独立的进程，可以独立运行，通过向redis-server发送命令，等待redis-server的响应，从而监控多个redis-server实例，当哨兵检测到Master当机了，自动将Slave切换成Master，通过发布订阅模式通知其他从服务器，修改配置文件，即切换它们的主机。
当然，哨兵有可能会宕机，可以配置哨兵集群，哨兵不仅监控redis-server集群，还监控其他哨兵。
假设主服务器宕机，哨兵1先检测到这个结果，系统并不会马上进行failover过程，仅仅是哨兵1主观的认为主服务器不可用，这个现象成为主观下线。当其他哨兵也检测到主服务器不可用，并且数量达到一定值时，那么哨兵之间就会进行一次投票，投票的结果由一个哨兵发起，进行failover[故障转移]操作。切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为客观下线。
新建一个哨兵配置文件的备份sentinel.conf.bak。修改sentinel.conf。

# sentinel monitor <master-name> <ip> <redis-port> <quorum>
# 配置哨兵监控，给master起一个名字，指定ip和端口号，指定一个法定人数，这个法定人数是用在哨兵集群中的。表示哨兵集群中，有几个哨兵认为Master宕机，Master才是真的宕机，从而触发failover
# 因为这里没有搞sentinel集群，所以配置改为
sentinel monitor mymaster 127.0.0.1 6379 1

指定配置文件，启动redis-sentinel。

[root@localhost bin]# redis-sentinel /usr/redis-6.2.0/sentinel.conf
28538:X 07 Mar 2021 22:11:42.313 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
28538:X 07 Mar 2021 22:11:42.313 # Redis version=6.2.0, bits=64, commit=00000000, modified=0, pid=28538, just started
28538:X 07 Mar 2021 22:11:42.313 # Configuration loaded
28538:X 07 Mar 2021 22:11:42.314 * Increased maximum number of open files to 10032 (it was originally set to 1024).
28538:X 07 Mar 2021 22:11:42.314 * monotonic clock: POSIX clock_gettime
                _._
           _.-``__ ''-._
      _.-``    `.  `_.  ''-._           Redis 6.2.0 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._
 (    '      ,       .-`  | `,    )     Running in sentinel mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
 |    `-._   `._    /     _.-'    |     PID: 28538
  `-._    `-._  `-./  _.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |           http://redis.io
  `-._    `-._`-.__.-'_.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |
  `-._    `-._`-.__.-'_.-'    _.-'
      `-._    `-.__.-'    _.-'
          `-._        _.-'
              `-.__.-'

28538:X 07 Mar 2021 22:11:42.315 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
28538:X 07 Mar 2021 22:11:42.317 # Sentinel ID is 3e70ad1fa742e4f91e24d391c1729f85e08ad15c
28538:X 07 Mar 2021 22:11:42.317 # +monitor master mymaster 127.0.0.1 6379 quorum 1
28538:X 07 Mar 2021 22:11:42.319 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
28538:X 07 Mar 2021 22:11:42.322 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379

现在是前台启动，如果需要后台启动，可以修改sentinel.conf中的daemonize为true既可。
这时候，我们将主机shutdown，等待一会儿，观察sentinel的输出。

31808:X 07 Mar 2021 22:22:24.140 # +sdown master mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:24.140 # +odown master mymaster 127.0.0.1 6379 #quorum 1/1
31808:X 07 Mar 2021 22:22:24.140 # +new-epoch 1
31808:X 07 Mar 2021 22:22:24.140 # +try-failover master mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:24.144 # +vote-for-leader 3e70ad1fa742e4f91e24d391c1729f85e08ad15c 1
31808:X 07 Mar 2021 22:22:24.144 # +elected-leader master mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:24.144 # +failover-state-select-slave master mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:24.206 # +selected-slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:24.206 * +failover-state-send-slaveof-noone slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:24.284 * +failover-state-wait-promotion slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:25.002 # +promoted-slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:25.002 # +failover-state-reconf-slaves master mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:25.083 * +slave-reconf-sent slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:26.004 * +slave-reconf-inprog slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:26.004 * +slave-reconf-done slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:26.094 # +failover-end master mymaster 127.0.0.1 6379
31808:X 07 Mar 2021 22:22:26.094 # +switch-master mymaster 127.0.0.1 6379 127.0.0.1 6380
31808:X 07 Mar 2021 22:22:26.095 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6380
31808:X 07 Mar 2021 22:22:26.095 * +slave slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6380
31808:X 07 Mar 2021 22:22:56.167 # +sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6380

使用info replication命令查看，此时发现6380变成了Master。查看6381的配置信息，它的Master也指向了6380。如果此时6379重新连接，它也会变成6380的从机。
优点：

1. 哨兵集群，基于主从复制，涵盖所有主从配置优点
2. 主从可以自动切换，完成故障转移，系统高可用
3. 哨兵模式是主从模式的升级，切换是自动完成的

缺点：

1. Redis在线扩容麻烦
2. 实现哨兵的配置比较麻烦

哨兵集群配置

# Example sentinel.conf
# 哨兵sentinel实例运行的端口默认26379
port 26379
# 哨兵sentinel的工作目录
dir /tmp
# 哨兵sentinel监控的redis主节点的ip port
# master-name可以自己命名的主节点名字只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum配置多少个sentinel哨兵统一认为master主节点失联那么这时客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2
# 当在Redis实例中开启了requirepass foobared 授权密码这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel连接主从的密码注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster mypassword
# 指定多少毫秒之后主节点没有应答哨兵sentinel此时哨兵主观上认为主节点下线默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行同步，这个数字越小，完成failover所需的时间就越长，但是如果这个数字越大，就意味着越多的slave因为replication而不可用。可以通过将这个值设为1来保证每次只有一个slave 处于不能处理命令请求的状态。# sentinel paral1e1-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
# 故障转移的超时时间failover-timeout可以用在以下这些方面:
# 1.同一个sentinel对同一个master两次failover之间的间隔时间
# 2.当一个slave从一个错误的master那里同步数据开始计算时间，直到slave被纠正为向正确的master那里同步数据时
# 3.当想要取消一个正在进行的failover所需要的时间
# 4.当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
# SCRIPTS EXECUTION
# 配置当某一事件发生时所需要执行的脚本，可以通过脚本来通知管理员，例如当系统运行不正常时发邮件通知相关人员。
# 对于脚本的运行结果有以下规则:
# 若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10。
# 若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。
# 如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。
# 一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。
# 通知型脚本：当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本，这时这个脚本应该通过邮件，SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数，一个是事件的类型，一个是事件的描述。如果sentinel.conf配置文件中配置了这个脚本路径，那么必须保证这个脚本存在于这个路径，并且是可执行的，否则sentinel无法正常启动成功。
# 通知脚本
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。
#以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”。
# <role>是“leader”或者“observer”中的一个。
# 参数 from-ip，from-port，to-ip，to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的，能被多次调用，不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh