Redis主从复制
概述
主从复制,是指将一台 Redis 服务器的数据,复制到其他的 Redis 服务器。前者称为主节点(master / leader),后者称为从节点(slave / follower)。数据的复制是单向的,只能由主节点到从节点。Master 以写为主,Slave 以读为主。一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。默认情况下,每台 Redis 服务器都是主节点。
作用
-
数据冗余
主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
-
故障恢复
当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复。这也是一种服务的冗余。
-
负载均衡
在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务,分担服务器负载。
尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高 Redis 服务器的并发量。
-
高可用
主从复制是哨兵和集群能够实施的基础,因此说主从复制是 Redis 高可用的基础。
一般来说,要将 Redis 运用于工程项目中,只使用一台 Redis 是万万不能的,原因如下:
- 结构上:单个 Redis 服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大。
- 容量上:单个 Redis 服务器内存容量有限,一般来说,单台 Redis 最大使用内存不应该超过 20G。
应用
电商网站上的商品,一般都是一次上传,无数次浏览的,说专业点也就是多读少写。
对于这种场景,我们可以使用如下这种架构:
环境配置
只配置从库,不配置主库
查看主从复制信息:info replication
127.0.0.1:6379> info replication # 查看当前库的信息
# Replication
role:master # 角色: master
connected_slaves:0 # 没有从机
master_failover_state:no-failover
master_replid:ec3da10c14249c7018a00c79c1815d8709ef4dbb
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
标准的配置是一主三从,受限于内存大小,这里演示一主二从,所以拷贝 3 份配置文件演示。
# 拷贝多个redis.conf文件
[root@wyc RedisConfig]# cp redis.conf redis6379.conf
[root@wyc RedisConfig]# cp redis.conf redis6380.conf
[root@wyc RedisConfig]# cp redis.conf redis6381.conf
修改配置文件:
修改 redis6379.conf
vim redis6379.conf
port 6379
daemonize yes
pidfile /var/run/redis_6379.pid
logfile "6379.log"
dbfilename dump6379.rdb
修改 redis6380.conf
vim redis6380.conf
port 6380
daemonize yes
pidfile /var/run/redis_6380.pid
logfile "6380.log"
dbfilename dump6380.rdb
修改 redis6381.conf
vim redis6381.conf
port 6381
daemonize yes
pidfile /var/run/redis_6381.pid
logfile "6381.log"
dbfilename dump6381.rdb
修改完毕之后启动三个Redis服务器,可以通过进程信息查看,如下图:
一主二从演示
默认情况下,每台 Redis 服务器都是主节点,我们一般情况下只用配置从机就好了。
一主(6379)二从(6380、6381)
# 在从机中认老大
127.0.0.1:6380> slaveof 127.0.0.1 6379 # slaveof host port 找谁当自己的老大
OK
127.0.0.1:6380> info replication
# Replication
role:slave # 当前角色是从机
master_host:127.0.0.1 # 可以看到主机的信息
master_port:6379
master_link_status:down
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_read_repl_offset:0
slave_repl_offset:0
master_link_down_since_seconds:-1
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:bb1bff750c6f80101bbcb90eb42e44e8555d69de
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
# 在主机中查看
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1 # 多了从机的配置
slave0:ip=127.0.0.1,port=6380,state=online,offset=28,lag=0 # 从机的信息
master_failover_state:no-failover
master_replid:ee1e63bd6d5358302f6ed5205c30dc638c370347
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:28
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:28
两台从机都配置完后,主机有两台从机,如下:
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6380,state=online,offset=532,lag=1
slave1:ip=127.0.0.1,port=6381,state=online,offset=532,lag=1
master_failover_state:no-failover
master_replid:ee1e63bd6d5358302f6ed5205c30dc638c370347
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:532
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:532
注:我们这里使用命令配置主从,是暂时的;真实的主从配置应该在配置文件中配置,为永久有效,方法如下:
主机可以写,从机不能写只能读,主机中的所有信息和数据都会自动被从机保存。
主机可以写可以读:
127.0.0.1:6379> set master 6379
OK
127.0.0.1:6379> get master
"6379"
127.0.0.1:6379> keys *
1) "master"
从机只能读不能写:
127.0.0.1:6380> keys *
1) "master"
127.0.0.1:6380> get master
"6379"
127.0.0.1:6380> set slave 6380
(error) READONLY You can't write against a read only replica.
有以下两种情形:
- 如果主机断开连接,从机依旧能连接到主机,但是没有写操作,这个时候如果主机重新连接了,从机依旧可以直接获取到主机写的信息。
- 如果是使用命令行来配置主从,这个时候如果从机重启了,从机会变成主机,但只要再次变为从机,立马就会从主机中获取值。
复制原理
上述情形的原理如下:
slave 启动成功连接到 master 后会发送一个 sync 同步命令。
master 接到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集的命令,在后台进程执行完毕之后,master 将传送整个数据文件到 slave,并完成一次完全同步。
- 全量复制:slave 服务在接收到数据库文件数据后,将其存盘并加载到内存中。
- 增量复制:master 继续将新的所有收集到的修改命令依次传给 salve,完成同步。
但只要重新连接 master,一次完全同步(全量复制)将被自动执行,我们的数据一定可以在从机中看到。
其他主从情况
层层链路
从机可以被其他从机当作主机,可以有效减轻主机的写压力。
谋朝篡位
主机断开后,从机如果想要当主机,可以使用 slaveof no one
进行“谋朝篡位”,从而变成主机。
但此时其他节点还是很“忠心”,依然认定之前的主机为主机,这样变成的主机是没有从机的,是个“孤家寡人”。
主机如果恢复,可以“平息叛乱”,之前的从机依旧认定它为主机。
改朝换代
前面的操作在实际场景中并不适用,因为我们希望的是主机断开后有从机作为主机,依旧实现主从复制。
所以在从机“谋朝篡位”后,还需要让剩余的从机“认主”,让他们都“归顺”于新的主机。
这样原来的主机恢复后就变成了“孤家寡人”。
以上的配置十分繁琐,任何一个环节出错都可能导致失败,因此我们需要使用哨兵模式解决这样的问题。