Redis 学习笔记（九）-- Redis 主从复制

最新推荐文章于 2024-06-25 10:24:01 发布

稻草人0.0

最新推荐文章于 2024-06-25 10:24:01 发布

阅读量467

点赞数

分类专栏： Redis 文章标签： redis

本文链接：https://blog.csdn.net/weixin_43989102/article/details/124956945

版权

Redis 专栏收录该内容

10 篇文章 1 订阅

订阅专栏

本文详细介绍了Redis的主从复制机制，包括数据冗余、故障恢复、负载均衡等作用，并展示了如何配置主从复制，以及如何通过命令行进行主从设置。此外，还探讨了一主二从的架构，强调了从节点不能写入数据的原则。接着，文章转向哨兵模式，解释了哨兵如何自动监控和故障转移，避免手动干预，提高了系统的可用性和健壮性。最后，讨论了哨兵模式的优缺点及配置选项。

摘要由CSDN通过智能技术生成

1、概念

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master/leader)，后者称为从节点(slave/follower);数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。

默认情况下，每台Redis服务器都是主节点。

且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。主从复制的作用主要包括︰

1、数据冗余∶主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。

2、故障恢复∶当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复;实际上是一种服务的冗余。

3、负载均衡∶在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载;尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。

4、高可用（集群）基石︰除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的（宕机），原因如下:

1、从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大;

2、从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量为256G，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20G。

电商网站上的商品，一般都是一次上传，无数次浏览的，说专业点也就是"多读少写"。对于这种场景，我们可以使如下这种架构︰

在这里插入图片描述

主从复制，读写分离！80%的情况下都是在进行读操作！

2、环境配置

只配置从库，不配置主库（默认就是一个主库）。

127.0.0.1:6379> info replication		# 查看当前库的信息
# Replication
role:master				# 角色 master
connected_slaves:0		# 没有从机
master_failover_state:no-failover
master_replid:935554e93166102c01030a41ea1c64f061068285
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

复制三份 redis.conf 文件,修改以下配置：

在这里插入图片描述

# =========== redis-master-6379.conf ===============
port 6379
logfile "master-6379.log"
dbfilename dump-master-6379.rdb
pidfile /var/run/redis_master_6379.pid
# =========== redis-master-6380.conf ===============
port 6380
logfile "slave-6380.log"
dbfilename dump_slave_6380.rdb
pidfile /var/run/redis_slave_6380.pid
# =========== redis-master-6381.conf ===============
port 6381
logfile "slave-6381.log"
dbfilename dump_slave_6381.rdb
pidfile /var/run/redis_slave_6381.pid

daemonize yes   # 后台启动，记得改为 yes. 默认是 no

dir /usr/local/redis/bin/   # 主目录配置

在bin目录下，以不同的配置文件分别启动redis服务

[root@localhost bin]# redis-server config/redis-master-6379.conf
[root@localhost bin]# redis-server config/redis-slave-6380.conf 
[root@localhost bin]# redis-server config/redis-slave-6381.conf
[root@localhost bin]# ps -ef|grep redis

在这里插入图片描述

3、一主二从

redis-cli -p [端口号]    # 同过端口号连接 redis

默认情况下，每台Redis服务器都是主节点。

我们一般情况下，只配置从机就好了！

认老大！一主（6379）二从（6380、6381）

3.1、命令配置

127.0.0.1:6380> slaveof 127.0.0.1 6379    # slaveof host port
OK
127.0.0.1:6380> info replication
# Replication
role:slave				# 当前角色是 从机
master_host:127.0.0.1	# 主机IP
master_port:6379		# 主机port
master_link_status:up
master_last_io_seconds_ago:9
master_sync_in_progress:0
slave_read_repl_offset:28
slave_repl_offset:28
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:e7396e84955d82b1110b69dc99cda0a5ccdff55e
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:28
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:28

========================================
# 在主机中看
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1		# 多了从机的配置
slave0:ip=127.0.0.1,port=6380,state=online,offset=70,lag=0		# 从机信息
master_failover_state:no-failover
master_replid:e7396e84955d82b1110b69dc99cda0a5ccdff55e
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:70
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:70

真实的主从复制应该在配置文件中配置，这样的话是永久的。命令配置只是暂时的。

3.2、配置文件

REPLICATION

replicaof <masterip> <masterport>	# 配上主机的IP和端口即可
masterauth <master-password>		# 如果主机有密码，配置上主机的密码

4、细节

主机可以写值，从机不能写值。（主写从读）

主机中的所有信息和数据，都会被从机保存。

主机写：

127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> set k1 v1
OK

从机只能读取内容：

127.0.0.1:6380>  keys *
(empty array)
127.0.0.1:6380>  keys *
1) "k1"
127.0.0.1:6380> set k2 v2
(error) READONLY You can't write against a read only replica.

测试

如果主机断开连接，没有写操作，但从机依旧能获取主机写的数据。

如果使用命令来配置的主从，如果从机重启了，就会变会主机（默认是主机）。再设置为从机，就能从主机中获取值！

复制原理

Slave启动成功连接到 master后会发送一个sync命令

Master接到命令，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave，并完成一次完全同步。

全量复制: 而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。

增量复制: Master继续将新的所有收集到的修改命令依次传给slave，完成同步

但是只要是重新连接master，一次完全同步（全量复制）将被自动执行！我们的数据一定能在从机中看到！

5、联级主从复制

原来的配置

在这里插入图片描述

现在要变成：

在这里插入图片描述

此时6380依旧是从节点,无法进行写入。

6381

127.0.0.1:6381> slaveof 127.0.0.1 6380
OK
127.0.0.1:6381> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6380
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_read_repl_offset:3258
slave_repl_offset:3258
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:e7396e84955d82b1110b69dc99cda0a5ccdff55e
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:3258
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:365
repl_backlog_histlen:2894

6380

127.0.0.1:6380> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:2
master_sync_in_progress:0
slave_read_repl_offset:3272
slave_repl_offset:3272
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:1
slave0:ip=127.0.0.1,port=6381,state=online,offset=3272,lag=1
master_failover_state:no-failover
master_replid:e7396e84955d82b1110b69dc99cda0a5ccdff55e
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:3272
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:3272

6379

127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=127.0.0.1,port=6380,state=online,offset=3286,lag=0
master_failover_state:no-failover
master_replid:e7396e84955d82b1110b69dc99cda0a5ccdff55e
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:3286
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:3286

如果主机服务退出了，在从机使用以下命令，使自己变成主机！其他节点可以手动连接到这个最新的主节点（手动）！如果这时主机恢复了，那就只能重新连接！

slaveof no one

6、哨兵模式

（自动选举老大的模式）

6.1、概述

主从切换技术的方法是∶当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel (哨兵）架构来解决这个问题。

谋朝篡位的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。

哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。

在这里插入图片描述

这里的哨兵有两个作用

通过发送命令，让Redis服务器返回监控其运行状态，包括主服务器和从服务器。
当哨兵监测到master宕机，会自动将slave切换成master，然后通过发布订阅模式通知其他的从服务器，修改配置文件，让它们切换主机。

然而一个哨兵进程对Redis服务器进行监控，可能会出现问题，为此，我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控，这样就形成了多哨兵模式。

在这里插入图片描述

假设主服务器宕机，哨兵1先检测到这个结果，系统并不会马上进行failover过程，仅仅是哨兵1主观的认为主服务器不可用，这个现象成为主观下线。当后面的哨兵也检测到主服务器不可用，并且数量达到一定值时，那么哨兵之间就会进行一次投票，投票的结果由一个哨兵发起，进行failover[故障转移]操作。切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为客观下线。

6.2、测试

目前状态，伪集群，一主二从！

在Redis的bin目录下有一个redis-sentinel文件，这个文件用于启动哨兵的启动文件。

1、配置哨兵配置文件 sentinel.conf

vim sentinel.conf
# 内容
# sentinel monitor 主机名称 IP地址 端口	1
sentinel monitor masterRedis 127.0.0.1 6379 1
# 1 指明当有多少个sentinel认为一个master失效时，master才算真正失效。

这里的1是指只要有1个哨兵认为主服务器已经下线，主服务器就会被判定为客观下线。slave进行投票，票数最多的则成为主机。

2、启动哨兵

[root@localhost bin]# ./redis-sentinel config/sentinel.conf
3670:X 25 May 2022 22:15:19.365 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
3670:X 25 May 2022 22:15:19.365 # Redis version=6.2.6, bits=64, commit=00000000, modified=0, pid=3670, just started
3670:X 25 May 2022 22:15:19.365 # Configuration loaded
3670:X 25 May 2022 22:15:19.365 * Increased maximum number of open files to 10032 (it was originally set to 1024).
3670:X 25 May 2022 22:15:19.365 * monotonic clock: POSIX clock_gettime
               _._                                                  
          _.-``__ ''-._                                             
     _.-``    `.  `_.  ''-._           Redis 6.2.6 (00000000/0) 64 bit
 .-`` .-```.  ```\/    _.,_ ''-._                                  
(    '      ,       .-`  | `,    )     Running in sentinel mode
|`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
|    `-._   `._    /     _.-'    |     PID: 3670
 `-._    `-._  `-./  _.-'    _.-'                                   
|`-._`-._    `-.__.-'    _.-'_.-'|                                  
|    `-._`-._        _.-'_.-'    |           https://redis.io       
 `-._    `-._`-.__.-'_.-'    _.-'                                   
|`-._`-._    `-.__.-'    _.-'_.-'|                                  
|    `-._`-._        _.-'_.-'    |                                  
 `-._    `-._`-.__.-'_.-'    _.-'                                   
     `-._    `-.__.-'    _.-'                                       
         `-._        _.-'                                           
             `-.__.-'                                               

3670:X 25 May 2022 22:15:19.366 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
3670:X 25 May 2022 22:15:19.367 # Sentinel ID is 157a87c677ba7e4be06d7ea41d2ae29c13902d3a
3670:X 25 May 2022 22:15:19.367 # +monitor master masterRedis 127.0.0.1 6379 quorum 1
3670:X 25 May 2022 22:15:19.368 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ masterRedis 127.0.0.1 6379
3670:X 25 May 2022 22:15:19.369 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ masterRedis 127.0.0.1 6379

在这里插入图片描述

3、主机宕机（退出进程后）测试

127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> shutdown
not connected> exit

哨兵日志就会输出下列信息：

在这里插入图片描述

去6380查看信息，角色变成了主机

127.0.0.1:6380> info replication
Error: Broken pipe
127.0.0.1:6380> info replication
# Replication
role:master			# 角色
connected_slaves:1
slave0:ip=127.0.0.1,port=6381,state=online,offset=43161,lag=0
master_failover_state:no-failover
master_replid:d15d7852838c63f9e36a4f238bdd4ebd28cafb9b
master_replid2:017a9f08a3afdaf282c1cf962084ce98df379499
master_repl_offset:43161
second_repl_offset:20945
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:43161

当重新启动6379主机时，哨兵日志打印

3670:X 25 May 2022 22:30:16.750 # -sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ masterRedis 127.0.0.1 6380
3670:X 25 May 2022 22:30:26.758 * +convert-to-slave slave 127.0.0.1:6379 127.0.0.1 6379 @ masterRedis 127.0.0.1 6380

查看6380的信息

127.0.0.1:6380> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6381,state=online,offset=68712,lag=1
slave1:ip=127.0.0.1,port=6379,state=online,offset=68712,lag=1	# 6379去做了新主机的从机
master_failover_state:no-failover
master_replid:d15d7852838c63f9e36a4f238bdd4ebd28cafb9b
master_replid2:017a9f08a3afdaf282c1cf962084ce98df379499
master_repl_offset:68712
second_repl_offset:20945
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:68712

如果主机此时回来了，只能归并到新的主机下，当做从机，这就是哨兵模式的规则!

6.3、优缺点

优点：

1、哨兵集群，基于主从复制模式，所有的主从配置优点，它全有。

2、主从可以切换，故障可以转移，系统可用性会更好。

3、哨兵模式就是主从的升级，手动到自动，更加健壮！

缺点：

1、Redis 不好在线扩容，集群数量一旦到达上限，在线扩容就十分麻烦

2、实现哨兵模式的配置其实是很麻的，里面有很多选择！

6.4、哨兵模式的配置

#Examle sentinel.conf

# 哨兵sentinel实例运行的端口 默认26379 
# 如果有哨兵集群，还要配置每个哨兵的端口
port 26379

# 哨兵sentinel的工作目录
dir /tmpI

# 哨兵sentinel监控的redis主节点的 ip port
# master-name 可以自己命名的主节点名字 只能由字母A-z、数字0-9、这三个字符".-_"组成。
# quorum 配置多少个sentinel哨兵统一认为master主节点失联 那么这时客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2

# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel连接主从的密码注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123password

# 指定多少毫秒之后主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000

# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步，
# 这个数字越小，完成failover所需的时间就越长，但是如果这个数字越大，就意味着越多的slave因为replication而不可用。
# 可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
#sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1

# 故障转移的超时时间failover-timeout可以用在以下这些方面:
# 1．同一个sentinel对同一个master两次failover之间的间隔时间。
# 2．当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
# 3.当想要取消一个正在进行的falover所需要的时间。
# 4.当进行failoveri时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000

# SCRIPTS EXECUTION

# 配置当某一事件发生时所需要执行的脚本，可以通过脚本来通知管理员，例如当系统运行不正常时发邮件通知相关人员。
# 对于脚本的运行结果有以下规则:
# 若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10
# 若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。
# 如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。
# 一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。


# 通知型脚本:当sentinel有任何警告级别的事件发生时〈比如说redis实例的主观失效和客观失效等等)，将会去调用这个脚本，这时这个脚本应该通过邮件，SwS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数，一个是事件的类型，一个是事件的描述。如果sentinel.conf配置文件中配置了这个脚本路径，那么必须保证这个脚本存在于这个路径，并且是可执行的，否则sentine1无法正常启动成功。
# 通知脚本
# shell 编程
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh


# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover"，
# <role>是"leader”或者"observer”中的一个。
# 参数 from-ip，from-port，to-ip，to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的，能被多次调用，不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh		# 一般由运维人员配置

稻草人0.0

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Redis 学习笔记（九）-- Redis 主从复制

1、概念主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master/leader)，后者称为从节点(slave/follower);数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。默认情况下，每台Redis服务器都是主节点。且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。主从复制的作用主要包括︰1、数据冗余∶主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。2、故障恢复∶当主节点出
复制链接

扫一扫

专栏目录