目录
搭建主从架构
单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离
IP | PORT | 角色 |
---|---|---|
192.168.150.101 | 7001 | master |
192.168.150.101 | 7002 | slave |
192.168.150.101 | 7003 | slave |
# 进入/tmp目录
cd /tmp
# 创建目录
mkdir 7001 7002 7003
修改端口号和dir,对应自己所在目录
分别启动三个redis实例
# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf
开启主从关系
配置主从可以使用replicaof 或者slaveof(5.0以前)命令
有临时和永久两种模式:
-
修改配置文件(永久生效):在redis.conf中添加一行配置
slaveof <masterip> <masterport>
-
使用redis-cli客户端连接到redis服务,执行slaveof命令(重启后失效)
slaveof <masterip> <masterport>
注意:在5.0以后新增命令replicaof,与salveof效果一致
通过redis-cli命令连接7002,执行下面命令:
# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 192.168.150.101 7001
通过redis-cli命令连接7003,执行下面命令:
# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 192.168.150.101 7001
连接 7001节点,查看集群状态:
# 连接 7001
redis-cli -p 7001
# 查看状态
info replication
执行下列操作以测试:
- 利用redis-cli连接7001,执行
set num 123
- 利用redis-cli连接7002,执行
get num
,再执行set num 666
- 利用redis-cli连接7003,执行
get num
,再执行set num 888
只有在7001这个master节点上可以执行写操作,7002和7003这两个slave节点只能执行读操作
主从数据同步原理
全量同步
主从第一次建立连接时,会执行全量同步,将master节点的所有数据都拷贝给slave节点
master如何判断slave是不是第一次来同步数据?
- Replication Id:简称replid,是数据集的标记,id一致则说明是同一数据集,每一个master都有唯一的replid,slave则会继承master节点的replid
- offset:偏移量,随着记录在repl_baklog中的数据增多而逐渐增大,slave完成同步时也会记录当前同步的offset,如果slave的offset小于master的offset,说明slave数据落后于master,需要更新
因此slave做数据同步,必须向master声明自己的Replication Id 和offset,master才可以判断到底需要同步哪些数据
master判断一个节点是否是第一次同步的依据,就是看replid是否一致
全量同步的流程:
- slave节点请求增量同步
- master节点判断replid,发现不一致,拒绝增量同步
- master将完整内存数据生成RDB,发送RDB到slave
- slave清空本地数据,加载master的RDB
- master将RDB期间的命令记录在repl_baklog,并持续将log中的命令发送给slave
- slave执行接收到的命令,保持与master之间的同步
增量同步
主从第一次同步是全量同步,但如果slave重启后同步,则执行增量同步,只更新slave与master存在差异的部分数据
master怎么知道slave与自己的数据差异在哪里呢?
全量同步时的repl_baklog文件 是一个固定大小的数组,只不过数组是环形,也就是说角标到达数组末尾后,会再次从0开始读写,这样数组头部的数据就会被覆盖
repl_baklog中会记录Redis处理过的命令日志及offset,包括master当前的offset和slave已经拷贝到的offset
slave与master的offset之间的差异,就是slave需要增量拷贝的数据
随着不断有数据写入,master的offset逐渐变大,slave也不断拷贝,追赶master的offset
直到数组被填满:
此时,如果有新的数据写入,就会覆盖数组中的旧数据。不过,旧的数据只要是绿色的,说明是已经被同步到slave的数据,即便被覆盖了也没什么影响,因为未同步的仅仅是红色部分
但是,如果slave出现网络阻塞,导致master的offset远远超过了slave的offset
如果master继续写入新数据,其offset就会覆盖旧的数据,直到将slave现在的offset也覆盖
棕色框中的红色部分,就是尚未同步,但是却已经被覆盖的数据,此时如果slave恢复,需要同步,却发现自己的offset都没有了,无法完成增量同步了,只能做全量同步
主从同步优化
主从同步可以保证主从数据的一致性,非常重要
可以从以下几个方面来优化Redis主从集群:
-
在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO
-
Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO
-
适当提高repl_baklog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步
-
限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构,减少master压力
总结
全量同步和增量同步的区别
- 全量同步:master将完整内存数据生成RDB,发送RDB到slave,后续命令则记录在repl_baklog,逐个发送给slave
- 增量同步:slave提交自己的offset到master,master获取repl_baklog中从offset之后的命令给slave
什么时候执行全量同步?
- slave节点第一次连接master节点时
- slave节点断开时间太久,repl_baklog中的offset已经被覆盖时
什么时候执行增量同步?
slave节点断开又恢复,并且在repl_baklog中能找到offset时