Redis主从复制原理

Redis主从复制原理

如图:

流程说明:

1. slave node启动会在本地保存master node的信息,包括master node的host和ip,复制流程还没有开始
2. slave node内部有个定时任务,每秒检查是否有新的master node要连接,如果有,那么就跟master node建立网络socket连接
3. 口令认证,如果master设置了requirepass,那么slave node必须发送masterauth口令过去进行认证
4. slave成功连接到master之后会发送一个sync(同步)指令,master接收到指令之后他会启动后台的存盘进程执行BGSAVE命令生成RDB文件,同时使用缓冲区记录所有接收到的用于修改数据集的命令,当后台进程执行完毕之后,master将传送整个rdb数据文件到slave,以完成一次完全同步,并在发送期间继续记录被执行的写命令
5. master node第一次执行全量复制,将所有的数据(即rdb文件)发送到slave,slave收到rdb文件之后会先把rdb文件保存到磁盘上(为了保证数据持久化),然后再把rdb文件中的数据加载到内存中
6. master node后续持续将新的数据(/指令)异步复制给slave node,保证slave node中的数据和master node中的数据是一致的

数据同步相关核心机制

1. 在复制的时候master 和slave都会维护一个offset,这个offset保存在master node的backlog中,master会在自身不断累加offset,slave也会在自身不断累加offset,slave每秒都会上报自己的offset给master,同时master也会保存每个slave每秒上报的offset
2. master node有一个backlog(默认是1MB大小),master给slave复制数据的时候也会将数据在backlog中同步写一份;他主要的作用是用来做全量复制中断后的增量复制的
3. 可以在master node上通过 info server命令可以看到master run id信息;如果根据host+ip来定位master node是很不靠谱的,一旦master node重启或者数据出现了变化,那么slave node应该根据不同的run id区分,如果此时slave node连接的master node run id(跟前一个master node 相比)不同了就做全量复制;如果需要不更改run id重启redis,可以使用redis-cli debug reload命令
4. slave node内部使用psync runid offset命令从master node进行复制;master会根据自身的情况返回响应信息,可能是full ressync runid offset触发全量复制,也可能是continue触发增量复制;如果runId 不一样,那么就触发全量复制;如果runId一样,那么就根据offset触发增量复制;

Redis主从复制搭建过程