Redis主从复制
概念
主从复制,指的是将一台Redis服务器的数据,复制到其它的Redis服务器。前者称为主节点(master/leader),后者称为从节点(slaver/follower);数据的复制是单向的,只能由主节点到从节点,Master以写为主,Slave以读为主;
默认情况下,每台Redis服务器都是主节点,且一个主节点可以有多个从节点或没从节点,但一个从节点只能有一个主节点;
主从复制的作用如下:
- 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式;
- 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复,实际上是一种服务的冗余;
- 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载,尤其是写少读多的场景,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量;
- 高可用基石:主从复制是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础;
一般来说,要将Redis应用于实际应用中,一台Redis 是万万不能的:
- 从结构上:单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;
- 从容量上:单个Redis服务器内存容量有限,就算一台Redis服务器内从容量为256G,也不能将所有内存用作Redis存储内存;一般来说,单台Redis最大使用内存不能超过20G;
环境配置
只配置从库,不配置主库:
127.0.0.1:6379> INFO replication # 查看当前库的信息
# Replication
role:master
connected_slaves:0
master_failover_state:no-failover
master_replid:1fb25fd9540948c2a79a702e8ba47521227bbd66
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
在一台机器上启动多个redis服务:
复制多个配置文件,然后修改对应的配置信息:
- 端口port:进程占用的端口号;
- pid名字:记录了进程的ID,文件带有锁,可以防止程序的多次启动;
- log文件名字:明确日志文件的位置;
- dump.rdb名字: 表明每个redis程序持久化文件的位置;
一主二从
默认情况下:每台Redis服务器都是主节点,一般情况下只需要配主机即可,将从机和主机连接即可;
认老大:
127.0.0.1:6380> SLAVEOF 127.0.0.1 6379
OK
127.0.0.1:6380> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:42
slave_priority:100
slave_read_only:1
connected_slaves:0
master_failover_state:no-failover
master_replid:7a3a1c519f0e0a2b1dfcf8410645b2fca3a13829
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:42
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:43
repl_backlog_histlen:0
细节
- 主机可以写,从机只能读;
127.0.0.1:6381> get k1
"v1"
127.0.0.1:6381> set k2 v2
(error) READONLY You can't write against a read only replica.
- 主机如果宕机,从机依旧在连接主机的,写操作不能进行,但是依然可以读取到主机已写入的信息l
- 如果是使用命令行配置的主从,如果重启,就会变回主机,如果再次变回从机,就能从主机中拿到新的值;
- 复制原理:
Slave启动成功会连接到master后会发送一个sync同步命令;
Master接到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集的命令,在后台进程执行完毕之后,master将传送整个数据文件到slave,并完成一次完全同步;
全量复制:slave服务在接收到数据库文件数据后,将其存盘并加载到内存中;
增量复制:master继续讲新的所有收集到的修改命令依次传给salve,完成同步;
但是只要重新连接master,一次完全同步将会被自动执行;
Redis哨兵模式
自动选举老大的模式;
主从切换技术的方法是:当主服务器宕机后,需要手动把一台服务器切换为主服务器,需要人工干预,费时费力,还会造成服务一段时间内不可用。因此哨兵模式应运而生,Sentinel(哨兵);
谋朝篡位的自动版,能够在后台监控主机是否故障,一旦主节点故障,根据投票数自动将从库转换为主库;
哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Reids实例;
哨兵有两个作用:
- 通过发送命令,让Redis服务器返回其运行状态,包括主服务器和从服务器;
- 当哨兵检测到master宕机,会自动将slave切换成master,然后通过发布订阅模式通知七天的从服务器,修改配置文件,让他们选举出新的主机;
然而单机哨兵也会出现问题,哨兵也要配置集群,哨兵之间还会进行监控:
测试
1、配置哨兵配置文件 sentinel.conf
# sentinel monitor 自定义监控名称 host port 1
sentinel monitor myredis 127.0.0.1 6379 1
最后的这个数字1,代表主机挂了,slave从机投票让谁接替成为主机,票数最多的就会成为新的主机;
2、启动哨兵:
[root@localhost bin]# redis-sentinel rconfig/sentinel.conf
10182:X 06 Apr 2021 23:18:46.466 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
10182:X 06 Apr 2021 23:18:46.466 # Redis version=6.2.1, bits=64, commit=00000000, modified=0, pid=10182, just started
10182:X 06 Apr 2021 23:18:46.466 # Configuration loaded
10182:X 06 Apr 2021 23:18:46.466 * Increased maximum number of open files to 10032 (it was originally set to 1024).
10182:X 06 Apr 2021 23:18:46.466 * monotonic clock: POSIX clock_gettime
_._
_.-``__ ''-._
_.-`` `. `_. ''-._ Redis 6.2.1 (00000000/0) 64 bit
.-`` .-```. ```\/ _.,_ ''-._
( ' , .-` | `, ) Running in sentinel mode
|`-._`-...-` __...-.``-._|'` _.-'| Port: 26379
| `-._ `._ / _.-' | PID: 10182
`-._ `-._ `-./ _.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' | http://redis.io
`-._ `-._`-.__.-'_.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' |
`-._ `-._`-.__.-'_.-' _.-'
`-._ `-.__.-' _.-'
`-._ _.-'
`-.__.-'
10182:X 06 Apr 2021 23:18:46.468 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
10182:X 06 Apr 2021 23:18:46.470 # Sentinel ID is da049f8ef21307cc335450edca0c0338ebcda97e
10182:X 06 Apr 2021 23:18:46.470 # +monitor master myredis 127.0.0.1 6379 quorum 1
10182:X 06 Apr 2021 23:18:46.473 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ myredis 127.0.0.1 6379
10182:X 06 Apr 2021 23:18:46.474 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ myredis 127.0.0.1 6379
3、如果主机宕机,通过哨兵就能从从机中随机选举出新的主机:
总结:
哨兵模式优点:
- 哨兵集群:基于主从复制模式,所有的主从配置优点,它都有;
- 主从可以切换:故障可以转移,系统可用性高;
- 哨兵模式就是主从模式的升级版,更加健壮;
缺点:
- Redis不容易在线扩容,集群容量一旦到达上限,在线扩容十分麻烦;
- 实现哨兵模式的配置是很麻烦的,里面有很多选择;