redis cluster数据存储和节点通信原理
1 | RedisCluster是redis的分布式解决方案,在3.0版本后推出的方案。
2 | 有效地解决了Redis分布式的需求,当遇到单机内存、并发等瓶颈时,可使用此方案来解决这些问题。
Redis-Cluster简介
什么是Redis-Cluster
为何要搭建Redis集群。Redis是在内存中保存数据的,而我们的电脑一般内存都不大,这也就意味着Redis不适合存储大数据,适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发,一台设备的存储能力是很有限的,但是多台设备协同合作,就可以让内存增大很多倍,这就需要用到集群。
Redis集群搭建的方式有多种,例如使用客户端分片、Twemproxy、Codis等,但从redis 3.0之后版本支持redis-cluster集群,它是Redis官方提出的解决方案,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下:
客户端与 redis 节点直连,不需要中间 proxy 层.客户端不需要连接集群所有节点连接集群中任何一个可用节点即可。
所有的 redis 节点彼此互联(PING-PONG 机制),内部使用二进制协议优化传输速度和带宽.
redis cluster 数据存储
1、分布式数据库把整个数据按分区规则映射到多个节点,即把数据划分到多个节点上,每个节点负责整体数据的一个子集。
假设我们库有900条用户数据,有3个redis节点,将900条分成3份,分别存入到3个redis节点
redis cluster特点:
1、所有的节点之间都是联通的
2、集群消息通信通过集群总线通信,集群总线端口大小为客户端服务端口+10000,这个10000是固定值;
3、节点之间的通信协议采用二进制的方式;
4、客户端和集群节点之间通信和通常一样,通过文本协议进行;
5、集群节点不会代理查询,也就是某个key不存在当前查询的节点时,会返回该key对应的slot值。
分区
分区规则
常见的分区规则哈希分区和顺序分区,redis集群使用了哈希分区,顺序分区暂用不到,不做具体说明;
rediscluster采用了哈希分区的“虚拟槽分区”方式(哈希分区分节点取余、一致性哈希分区和虚拟槽分区)
实现原理
redis-cluster的分区实现,是将数据分散到不同的节点上,到这里会有一个solt(槽)的概念,每一个集群中的master会“持有”一段solt,slot跟key之间有映射,这里的slot是一个虚拟的概念。举个栗子,如果有个6各节点,三主三从的redis cluster,