Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务,提高整体性能和可靠性。根据搭建的方式和集群的特性,
Redis集群主要有三种模式:
- 主从复制模式(Master-Slave)
- 哨兵模式(Sentinel)
- Cluster模式。
Redis集群的作用和优势
- 高可用性:Redis集群可以在某个节点发生故障时,自动进行故障转移,保证服务的持续可用。
- 负载均衡:Redis集群可以将客户端请求分发到不同的节点上,有效地分摊节点的压力,提高系统的整体性能。
- 容灾恢复:通过主从复制或哨兵模式,Redis集群可以在主节点出现故障时,快速切换到从节点,实现业务的无缝切换。
- 数据分片:在Cluster模式下,Redis集群可以将数据分散在不同的节点上,从而突破单节点内存限制,实现更大规模的数据存储。
- 易于扩展:Redis集群可以根据业务需求和系统负载,动态地添加或移除节点,实现水平扩展。
主从复制:
主从复制是Redis的一种基本集群模式,它通过将一个Redis节点(主节点)的数据复制到一个或多个其他Redis节点(从节点)来实现数据的冗余和备份。
主节点负责处理客户端的写操作,同时从节点会实时同步主节点的数据。客户端可以从从节点读取数据,实现读写分离,提高系统性能。
主从复制配置和实现
- 配置主节点:在主节点的redis.conf配置文件中,无需进行特殊配置,主节点默认监听所有客户端请求。
# 主节点默认端口号6379
port 6379
配置从节点:在从节点的redis.conf配置文件中,添加如下配置,指定主节点的地址和端口:
# 从节点设置端口号6380
port 6380
# replicaof 主节点IP 主节点端口
replicaof 127.0.0.1 6379
或者,通过Redis命令行在从节点上执行如下命令:
redis> replicaof 127.0.0.1 6379
验证主从复制:在主节点上执行写操作,然后在从节点上进行读操作,检查数据是否一致。
哨兵模式:
哨兵模式是在主从复制基础上加入了哨兵节点,实现了自动故障转移。哨兵节点是一种特殊的Redis节点,它会监控主节点和从节点的运行状态。当主节点发生故障时,哨兵节点会自动从从节点中选举出一个新的主节点,并通知其他从节点和客户端,实现故障转移。
- 配置主从复制:
首先按照主从复制模式的配置方法,搭建一个主从复制集群(上面已经讲过)。
-
配置哨兵节点:
在哨兵节点上创建一个新的哨兵配置文件(如:sentinel.conf),并添加如下配置:
# sentinel节点端口号
port 26379
# sentinel monitor 被监控主节点名称 主节点IP 主节点端口 quorum
sentinel monitor mymaster 127.0.0.1 6379 2
# sentinel down-after-milliseconds 被监控主节点名称 毫秒数
sentinel down-after-milliseconds mymaster 60000
# sentinel failover-timeout 被监控主节点名称 毫秒数
sentinel failover-timeout mymaster 180000
- 其中,
quorum
是指触发故障转移所需的最小哨兵节点数。down-after-milliseconds
表示主节点被判断为失效的时间。failover-timeout
是故障转移超时时间。
为什么只配置了sentinel监控主节点,没有配置监控从节点? 因为通过主节点,就可以找到从节点。
- 启动哨兵节点:使用如下命令启动哨兵节点:
redis> redis-sentinel /path/to/sentinel.conf
- 验证哨兵模式:手动停止主节点,观察哨兵节点是否自动选举出新的主节点,并通知其他从节点和客户端。
Cluster模式
Cluster模式是Redis的一种高级集群模式,它通过数据分片和分布式存储实现了负载均衡和高可用性。在Cluster模式下,Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据,称为槽位。通过对数据的分片,Cluster模式可以突破单节点的内存限制,实现更大规模的数据存储。【每一个都有相连】
无中心的结构,数据分散在各个节点上,并且保存了整个集群的状态,每个节点都和其他节点相连
官方规定最少需要6个节点,3个主节点和3个从节点
哈希槽 crc16(key)%16384
Redis key 路由公式:crc16(key)%16384 取模到多少放入谁
crc16算法的hash值最大是65535,为什么redis不创建65535个槽位
Gossip协议 ,就像流言蜚语一样,利用一种随机,带有传染性的方式,将信息传播到整个网络中,并在一定时间内,使得系统内的所有节点数据一致,实现最终一致性
所有节点都持有一份元数据,不同的节点如果出现了元数据变更以后,就不断的将元数据发送给其他节点,让其他节点也进行元数据的变更
优点:
元数据的更新比较分散,没有集中在一个点,更新会陆续的到所有的节点,因为有一定的延时,所以会降低压力
缺点:
有延时性,导致一些操作会滞后。
Gossip协议如何通讯:
每个节点都会维护一份集群的状态
维护的信息有:
当前集群的状态
集群中各节点负责的slots信息和migrate状态
集群各节点的master和slave状态
集群各节点存货状态和怀疑Fail状态
和四种命令:
MEET:通过[cluster meet ip port]命令,已有集群的节点会向新的节点发送邀请,加入现有集群,然后新节点就会开始与其他节点进行通信
PING:节点按照配置的时间间隔向集群中其他节点发送ping消息,消息中带有自己的状态,还有自己维护的集群元数据,和部分其他节点的元数据
PONG:节点用于回应PING和MEET的消息,结构和PING消息类似,也包含自己的状态和其他信息,也可以用于信息广播和更新
FAIL:节点PING不通某节点后,会向集群所有节点广播该节点挂掉的消息。其他节点收到消息后标记已下线