1.前言
redis的三种集群方式对比,主从集群方式可以读写分离并配置多个从节点进行负载,但是主节点没有高可用,集群当集群内部空间不足时也没办法横向扩展,哨兵集群方式可以支持主从读写分离也可以高可用,但还是不支持横向扩展,cluster集群方式支持主从模式,也支持高可用模式,还可以横向扩展,当集群内部空间、性能不足时可以增加节点来解决,也解决了以上集群方式的写单节点的瓶颈问题,所以cluster集群方式会比主从集群和哨兵集群要好
2.cluster集群原理
2.1构成
最低需要6个节点即三主三从,每个主节点对应一个从节点
2.2数据存储
采用分片存储方式,整个redis集群有16384个哈希槽,集群中的每个节点负责一部分哈希槽,现在集群中三个主节点,就会把这些哈希槽平均分配给三个主节点,即节点A存储的哈希槽范围是:0 – 5500,节点B存储的哈希槽范围是:5501 – 11000,节点C存储的哈希槽范围是:11001 – 16384,当需要扩容主节点时会将ABC的哈希槽数据提取一部分到新的主节点D上,若是删除主节点A,就需要先将A中的哈希槽数据转移到BC节点上再进行删除
2.3集群主从
为了保证集群的高可用,每个主节点都会对应一个从节点用来当作主节点的备机,当主节点宕机时集群就会提升从节点为主节点,以保证集群的正常运行,当一对主从节点都挂掉时,集群便不能正常运行,因为当一对主从节点都挂掉就会缺失了三分之一的哈希槽数据,redis的数据是不完整的
3.cluster集群搭建
3.1本试验采用四台centos7虚拟机,每台虚拟机部署一个主节点一个从节点,正常是要最少六台虚拟机,留一台主机作为后面加入集群试验,配置如下图所示
![](https://i-blog.csdnimg.cn/blog_migrate/1fc81ee5e7d61a91251cd5a4d223fa6f.png)
名称 | ip | 端口 |
masterA | 10.1.60.114 | 6379 |
slaveA1 | 10.1.60.114 | 6380 |
masterB | 10.1.60.115 | 6379 |
slaveB1 | 10.1.60.115 | 6380 |
masterC | 10.1.60.80 | 6379 |
slaveC1 | 10.1.60.80 | 6380 |
masterD | 10.1.60.112 | 6379 |
slaveD1 | 10.1.60.112 | 6380 |
3.2安装redis服务,从redis官网下载reids6.2版本安装包(四台主机执行下面相同操作)
redis官网下载地址: https://redis.io/download/
3.3解压下载好的安装包
tar -zxf redis-6.2.11.tar.gz
3.4进入解压后的redis目录执行安装命令
cd redis-6.2.11
make && make install
3.5关闭selinux服务
setenforce 0
3.6关闭防火墙
systemctl stop firewalld
3.7创建redis日志、集群配置文件、备份文件、redis配置文件存放目录
mkdir -p /etc/redis/redis-cluster-conf
3.8创建主节点redis配置文件(选取masterA主机去执行,以下步骤均在masterA执行)
vi /etc/redis/redis-cluster-conf/redis6379.conf
bind 0.0.0.0
port 6379
daemonize yes
requirepass 123456
masterauth 123456 #master的密码,不配置的话主从故障切换不生效日志里会有报错
logfile /etc/redis/redis6379.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6379.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes #开启cluster集群服务
cluster-config-file node6379.conf #cluster集群配置文件名称,不用写路径,默认再redis的dir路径上
cluster-node-timeout 5000 #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10 #一个master有多个slave的情况下,在进行故障转移的时候全部slave都会请求申请为master,但是有些slave可能与master断开连接一段时间了导致数据过于陈旧,不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes #集群中的所有slot(16384个)全部覆盖,才能提供服务
3.9创建slave节点配置文件(复制配置文件的时候把后面的注释内容删掉)
vi /etc/redis/redis-cluster-conf/redis6379.conf
bind 0.0.0.0
port 6380
daemonize yes
requirepass 123456
masterauth 123456
logfile /etc/redis/redis6380.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6380.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes #开启cluster集群服务
cluster-config-file node6380.conf #cluster集群配置文件名称,不用写路径,默认再redis的dir路径上
cluster-node-timeout 5000 #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10 #一个master有多个slave的情况下,在进行故障转移的时候全部slave都会请求申请为master,但是有些slave可能与master断开连接一段时间了导致数据过于陈旧,不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes #集群中的所有slot(16384个)全部覆盖,才能提供服务
3.10将这两个配置文件传输到其余三台主机
scp /etc/redis/redis-cluster-conf/redis6379.conf root@10.1.60.115:/etc/redis/redis-cluster-conf
scp /etc/redis/redis-cluster-conf/redis6380.conf root@10.1.60.115:/etc/redis/redis-cluster-conf
scp /etc/redis/redis-cluster-conf/redis6379.conf root@10.1.60.80:/etc/redis/redis-cluster-conf
scp /etc/redis/redis-cluster-conf/redis6380.conf root@10.1.60.80:/etc/redis/redis-cluster-conf
scp /etc/redis/redis-cluster-conf/redis6379.conf root@10.1.60.112:/etc/redis/redis-cluster-conf
scp /etc/redis/redis-cluster-conf/redis6380.conf root@10.1.60.112:/etc/redis/redis-cluster-conf
3.11启动所有节点redis服务(其余三台机器跟着执行以下命令)
redis-server /etc/redis/redis-cluster-conf/redis6379.conf
redis-server /etc/redis/redis-cluster-conf/redis6379.conf
3.12查看redis服务端口(若是开启了防火墙需要放下以下四个端口,否则创建集群会失败)
16379和16380是集群的虚拟端口分别对应6379和6380
![](https://i-blog.csdnimg.cn/blog_migrate/fac3a66ccd9c2b72c6bd90b4f6ace6d9.png)
3.13查看/etc/redis目录下会生成aof文件、cluster集群配置文件、redis日志文件、rdb文件
ls /etc/redis
![](https://i-blog.csdnimg.cn/blog_migrate/0910bf210cf18e685d4d1e84bfc56d4d.png)
3.13创建cluster集群(IP地址排序奇数位的是主节点,–-cluster-replicas 1 表示集群每个主节点分配1个从节点,-a为指定redis密码,因为配置文件中配置了redis密码,所以必须要指定否则会报错)
redis-cli --cluster create 10.1.60.114:6379 10.1.60.114:6380 10.1.60.115:6379 10.1.60.115:6380 10.1.60.80:6379 10.1.60.80:6380 --cluster-replicas 1 -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/dfafcfe743c110f8cf468716e7310a5d.png)
4.集群实践
4.1检查集群状态(可在任意节点输入集群内的任意节点地址)
redis-cli --cluster check 10.1.60.114:6379 -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/50e07a03d1f6838f406a3726abf40818.png)
4.2连接cluster集群(指定任意节点地址都可以连接到集群,-c表示连接到集群)
redis-cli -c -h 10.1.60.115 -p 6380 -a 123456
cluster info #在集群内通过此命令也可以看到集群状态
![](https://i-blog.csdnimg.cn/blog_migrate/fc3e4c5af506790acad13a88e1f23b8f.png)
4.3集群读写同步测试,在任意节点写入数据,在其它节点查看是否能读取到数据
在任意节点写入数据的时候,集群会根据算法重定向写入的节点,在任意节点读取数据集群也是会根据算法重定向到数据存储的节点去读取
![](https://i-blog.csdnimg.cn/blog_migrate/15fbeccb849339bd6a1e7e44397a14b6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4fb3b24ea0bd9cf8721195814fb77a85.png)
4.4不指定集群模式连接任意节点读写数据
redis-cli -h 10.1.60.114 -p 6379 -a 123456
显示报错,需要连接到10.1.60.115:6379上去读写数据,连到10.1.60.115:6379上就能成功读取
![](https://i-blog.csdnimg.cn/blog_migrate/37cd3dc89ceae2c3806c0a69d14ae4a8.png)
4.5集群添加新的主节点
redis-cli --cluster add-node 新的节点ip:port 集群任意节点ip:port -a 密码
redis-cli --cluster add-node 10.1.60.112:6379 10.1.60.114:6380 -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/001ae704c2cad25b32bb8b36fc5356d1.png)
查看集群状态(新加入的主节点还没有分配哈希槽,前面的一段值是每个节点的id)
redis-cli -c -h 10.1.60.115 -p 6379 -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/17143261adce584991cc4655287e20d4.png)
将三个主节点的哈希槽分配一部分到新加入的主节点
redis-cli --cluster reshard 新的节点ip:port --cluster-from 集群主节点Aid,集群主节点Bid,集群主节点Cid --cluster-to 新加入的节点id --cluster-slots 分配的哈希槽值 -a 密码
redis-cli --cluster reshard 10.1.60.112:6379 --cluster-from 1fd9a4ec9a9b7b8c25c045c5da0c558b2d54d40d,9ae743f0a98d5910d7debecbb5192792dc388d19,fb3a0229f6035570b830015ddd24f4e518bb6d45 --cluster-to e9bbef89a025d65d854af967b04692c0b53c38cc --cluster-slots 4096 -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/d0e0bad25c2f191ec7d45ad8cead0d0b.png)
通过cluster nodes查看集群节点可以看到新加入的master节点已经有了哈希槽
![](https://i-blog.csdnimg.cn/blog_migrate/ff43f6c608c93f38bf02b198ba6d88f8.png)
4.6集群添加新的从节点
redis-cli --cluster add-node --cluster-slave 新的从节点ip:port 集群任意节点的ip:port --cluster-master-id 指定加入的master节点id -a 密码
redis-cli --cluster add-node --cluster-slave 10.1.60.112:6380 10.1.60.114:6379 --cluster-master-id e9bbef89a025d65d854af967b04692c0b53c38cc -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/5cf68867632252cb1a712b8f4bfd4192.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f2aa8ff9f2cfea2d9da041cc2ca6df3d.png)
4.7删除集群某个slave节点
redis-cli --cluster del-node 删除的slave节点ip:port 删除的slave节点id -a 密码
redis-cli --cluster del-node 10.1.60.112:6380 5066334fbee82bd6959dc90723ff7b03d8b0d326 -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/df7a7fb1d642fe070057b4bc96a22e23.png)
4.8删除集群的某个master节点(现在是四个节点每个节点哈希槽值为4096,将此哈希槽数值平均分配给其它三个节点,重复下面这个操作步骤即可,分配数量分别为1366、1365、1365)
redis-cli --cluster reshard 接收删除节点哈希槽数据的节点ip:port -a 密码
redis-cli --cluster reshard 10.1.60.80:6379 -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/8ebab3abdf279b939ec6302da56dd372.png)
移除完此master节点所有哈希槽值(若是不移除完就删除该节点会丢失数据)
![](https://i-blog.csdnimg.cn/blog_migrate/54a9d46da239be76cfe742634892a9d9.png)
执行删除此master节点
redis-cli --cluster del-node 移除的节点ip:port 移除的节点id
redis-cli --cluster del-node 10.1.60.112:6379 e9bbef89a025d65d854af967b04692c0b53c38cc -a 123456
![](https://i-blog.csdnimg.cn/blog_migrate/63cb7772eff4b3b6aa76b56e4aef3265.png)
当清空了一个master的哈希槽值时,cluster集群就会自动将其对应的slave挂载到其他master上去
4.9平衡各个节点的槽位数
redis-cli --cluster rebalance 集群任意节点ip:port
redis-cli --cluster rebalance 10.1.60.114:6379
4.10主从故障切换
当主节点故障时,集群会选举对应的从节点升级为主节点,当主节点后续修复启动后,会变为从节点
![](https://i-blog.csdnimg.cn/blog_migrate/b6f2116ddc3e256a8ab68bd8258bee72.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e2355147f543ddd6a3eb81b59571858.png)