Redis集群分片

什么是集群

集群是由多个复制集组成的,能提供在多个redis节点间共享数据的程序集

简而言之就是将原来的单master主机拆分为多个master主机,将整个数据集分配到各主机上

集群的作用

1. 集群中可以存在多个master,而每个master可以挂载多个slave
2. 自带哨兵的故障转移机制,不需要再去使用哨兵功能
3. 连接集群中的一个可用节点就可以访问整个集群

ps:集群不保证数据的强一致性,会因为网络等原因丢数据

集群算法

数据分片

redis会根据节点的数量将哈希槽分为若干段,每一段分配给若干个redis实例,这个redis实例就是分片

哈希槽:以前每一个key是直接存放在键空间里面的,现在我们在此之上多套了一层数据结构,将键空间划分成多个哈希槽,再将数据存放在哈希槽中

如何找到给定key的分片?

答:使用CRC16(KEY)算法对key进行处理,使用确定性哈希函数对16384(总哈希槽数)进行取模计算出key的对应槽值,根据槽值可以得出对应的分片

使用分片和槽位的优势 

1. 方便扩缩容和数据分派查找
2. 扩缩容不会导致集群不可用
3. 不会出现数据倾斜的问题

扩展--slot槽位映射的3种方案

哈希取余分区

优点是简单有效,缺点是当redis服务器需要扩缩容时会导致节点映射关系的改变,如果其中一台主机出现宕机了全部数据hash都会被打乱

一致性哈希算法分区

一致性哈希算法将整个哈希值空间组织成一个虚拟的圆环,圆环的范围是[0,2^32-1]

所有哈希值都会落到圆环上,再将redis节点映射到某一点上,当数据映射到圆环时会顺时针寻找第一个被找到的redis节点,将数据存放在该节点上

优点是可以扩展,影响的节点少,缺点是节点映射的位置可能会导致数据存放不均匀

哈希槽分区

哈希槽分区也就是我们redis集群采用的算法,在数据和节点之间多加了一层槽

槽解决的是粒度问题,把粒度变大了,便于数据移动;哈希解决的是映射问题,使用key的哈希值来计算所在的槽,便于数据分配

为什么redis集群的槽位是16384个?

出于心跳包消息头,节点数量,压缩比三个方面去考虑

集群配置和使用

集群的配置可以去b站上看视频,网上都有就不浪费时间了,这里说一下一些需要注意的点

1. 集群的主从复制不需要配文件,通过命令进行主从复制,且执行的结果具有随机性
   
2. 客户端连接时需要加-c选项,否则无法跨节点进行写操作
3. 当一个主机宕机后,其从机会自动上位,且原主机恢复后自动成为从机
4. 集群在扩容时,是从现有的节点中均匀分配出一些槽位共同分配给新节点
5. 集群在缩容时,是由其中一个节点完全接收节点释放出来的槽位