单台redis支撑的最大并发数大概在几万到十几万不等。当我们系统中,并发数高过单台redis所能支撑的上限时,我们就需要对redis进行水平扩展。最简单的方式就是搭建主从架构、读写分离。因为大多数情况下都是读多写少,所以我们系统中一般要解决的就是读并发的问题。
一,redis 主从复制原理
redis的replication一共分两种操作:
1. resync 重新同步。当slave node 第一次连接mast node 时会发送一个PSYNC -1 的命令,当master 收到命令后会返回FULLRESYNC ,表示同意连接并准备执行全量同步操作,然后master fork 一个子进程、进行bgsave 生成一份RDB快照发送给slave,slave将RDB加载到内存中。master将 backlog 中缓存的命令发送给slave。slave收到后执行命令。
1.1 如果slave中断,重新连接后会向master发送PSYNC <replication-id> <offset> 命令,master收到命令后先确定replication-id是否是自己,如果是则根据offset去backlog (FIFO的队列)里查找,将未同步的命令发送给slave. slave执行命令。
2.command propagate 命令传播:
当master 执行对数据进行修改、key过期、LRU淘汰时,会将命令广播(异步)给所有的slave.并且会将命令保存到backlog中一份。
master为每一个slave和slave都会维护一个offset.这样才能知道哪些数据不一致。并通过心跳检测连接的健康情况。
backlog 参数设置:
repl-backlog-size : 队列的大小,默认是1M
repl-backlog-ttl : 生存时间,默认是3600妙。如果一个slave断开连接,并且超过repl-backlog-ttl时间,则释放backlog.
注意事项:
RDB和AOF要在master节点上开启,而不是在slave上开启。如果说只在slave上开启持久,当master出现问题后被重启,因没有持久化导致重启完内存中没数据,这时会同步给slave node, slave同步master数据后也空了。