Redis实现高可用的方式
主要方式:redis主从复制、哨兵机制、持久化机制、keepalived等
生产:4个group,每个group5个节点,每个节点1主3从,单节点key数量13W,内存2.6G已用30%左右(横向扩容:加更多group存更多数据、加更多slave提高查询效率) 通过ZK管理各个master
一、Redis主从复制
1、主从结构的作用:数据备份;读写分离,提升读性能(耗时读操作由从服务器来做);实现高可用,提高容错。
2、redis只有一个master,有多个slave。主服务器主要进行写操作,从一般设置为只读,并接收主同步过来的数据。所以slave的扩容只能提高读效率不能提高写的效率
3、可以考虑关闭主服务器的持久化,只让从来做,提高主的性能。(生产没开持久化)
4、redis的主从同步是异步进行的,不影响处理性能。
5、redis主从复制分为:全量同步和增量同步
全量同步(从做初始化时):
1.从向主发送SYNC指令(多个从同时发sync指令,主只会做一次,然后发给所有从);
2.主执行BGSAVE指令,创建子进程做RDB数据持久化,持久化期间的写指令缓存在内存中;
3.主把RDB快照文件发给从服务器,从接受rdb快照文件并读入内存;
4.主把缓冲区中的写命令发给从,从执行写命令,完成本次同步。
增量同步(正常工作时的数据同步): master的写命令会发给slave,通知slave执行
二、Redis哨兵机制 (sentinel)
1、哨兵是一个分布式系统,一个集群可以有多个哨兵进程,管理多个redis服务器。哨兵依赖主从复制的支持。
2、哨兵做的事情:
1.监控(Monitoring):哨兵会不断的检查master和slave是否正常运行;
2.提醒(Notification):当redis服务器出现问题时,哨兵可以通过API发送通知;
3.自动故障迁移(Automatic failover):当master挂了时,哨兵会使用投票协议决定是否执行自动故障迁移:升级其中一个slave为新的master,让其他slave连新主、给客户端新master的地址。
3、哨兵会向其他哨兵、master、slave定时发送消息确认对方是否“活着”:
如果在指定时间内未回应,则“主观上认为宕机”:subjective down;
如果“哨兵群”中多数哨兵都认为master没有响应,则判定该master“客观上真正的宕机”:objective down。此时通过vote投票算法从剩下的slave中选一台升级为master、修改相关配置。
三、Redis持久化机制
高可用:redis主从复制 + 哨兵机制(监控、提醒、自动故障迁移) + keepalived软件(自动重启),若重启多次仍不成功,可以通过邮件短信等方式通知。
四、Redis的key如何寻址
1、redis支持多个数据库(字典)
2、redis字典的底层是通过哈希表实现的,通过链表解决哈希碰撞
3、hash Slot 算法: 集群模式redis有多台master节点,每个master节点对应一台或多台slave节点,写的key应该保存在哪个节点中? 虚拟槽分区,redis层面上的分库分表。
1. redis有16384个hash slot,每个Node节点被分配了一段slot;
2. 对key做哈希:CRC16(key) mod 16384 确定槽Slot,然后定位到对应的Node。
3. node做增删时,迁移对应区域的slot即可。
4、负载均衡算法
5、传统的哈希算法弊端:增减节点时取模拿不到数据。
一致性哈希算法:一个圆环,节点分布不均时,数据不均衡。解决办法:每个节点弄一堆虚拟节点,使虚拟阶段均匀散布在0~2^32-1的圆环里,哈希值最近的一个虚拟节点对应的真实节点,即存储数据的地方。
redis使用虚拟槽而不使用一致性哈希算法的原因:一致性哈希算法对于数据分布、节点位置的控制并不是很友好。