Redis cluster集群搭建

1.cluster集群原理

1.1最低需要6个节点即三主三从，每个主节点对应一个从节点

1.2数据存储采用分片存储方式，整个redis集群有16384个哈希槽，集群中的每个节点负责一部分哈希槽，现在集群中三个主节点，就会把这些哈希槽平均分配给三个主节点，即节点Ａ存储的哈希槽范围是：0 – 5500，节点Ｂ存储的哈希槽范围是：5501 – 11000，节点Ｃ存储的哈希槽范围是：11001 – 16384，当需要扩容主节点时会将ABC的哈希槽数据提取一部分到新的主节点D上，若是删除主节点A，就需要先将A中的哈希槽数据转移到BC节点上再进行删除

1.3集群主从

为了保证集群的高可用，每个主节点都会对应一个从节点用来当作主节点的备机，当主节点宕机时集群就会提升从节点为主节点，以保证集群的正常运行，当一对主从节点都挂掉时，集群便不能正常运行，因为当一对主从节点都挂掉就会缺失了三分之一的哈希槽数据，redis的数据是不完整的

2.搭建集群

要保证集群的高可用，需要每个节点都有从节点，也就是备份节点，所以Redis集群至少需要6台服务器。因为实验那么多服务器，也启动不了那么多虚拟机，所在这里搭建的是伪分布式集群，即一台服务器虚拟运行6个redis实例，修改端口号为（6379-6384），当然实际生产环境的Redis集群搭建和这里是一样的。

2.1 下载安装包并解压

wget http://download.redis.io/releases/redis-6.0.9.tar.gz

tar -zxvf  redis-6.0.9.tar.gz

mv redis-6.0.9 redis  #改名redis

2. 2编译

因为redis是用c实现的，所有要进行编译操作；redis编译完成后主要的命令在src目录下

cd redis/src && make && make install

 如遇报错，这是因为安装的gcc版本较低，需进行升级

升级命令

yum -y install centos-release-scl

yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils

scl enable devtoolset-9 bash

然后再次执行编译命令 make&&make install,可以看到安装成功。

2.3创建redis日志、集群配置文件、备份文件、redis配置文件存放目录 

mkdir -p /etc/redis/redis-cluster-conf

2.4 创建配置文件6379-6384，（需要去掉中文注释，不然启动报错），此处只列举主从6379和6380，其它2个主从节点照例修改即可。

 vi /etc/redis/redis-cluster-conf/redis6379.conf

bind 0.0.0.0
port 6379      
daemonize yes
requirepass 123456
masterauth 123456 #master的密码，不配置的话主从故障切换不生效日志里会有报错
logfile /etc/redis/redis6379.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6379.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes  #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes   #开启cluster集群服务
cluster-config-file node6379.conf  #cluster集群配置文件名称，不用写路径，默认再redis的dir路径上
cluster-node-timeout 5000  #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10  #一个master有多个slave的情况下，在进行故障转移的时候全部slave都会请求申请为master，但是有些slave可能与master断开连接一段时间了导致数据过于陈旧，不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes   #集群中的所有slot（16384个）全部覆盖，才能提供服务

vi /etc/redis/redis-cluster-conf/redis6379.conf 

bind 0.0.0.0
port 6380    
daemonize yes
requirepass 123456
masterauth 123456
logfile /etc/redis/redis6380.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6380.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes  #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes   #开启cluster集群服务
cluster-config-file node6380.conf  #cluster集群配置文件名称，不用写路径，默认再redis的dir路径上
cluster-node-timeout 5000  #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10  #一个master有多个slave的情况下，在进行故障转移的时候全部slave都会请求申请为master，但是有些slave可能与master断开连接一段时间了导致数据过于陈旧，不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes   #集群中的所有slot（16384个）全部覆盖，才能提供服务

 2.5启动所有节点

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6379.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6380.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6381.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6382.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6383.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6384.conf

查看redis服务端口，netstat -tlpn

16379,16380,16381,16382,16383,16384是集群的虚拟端口分别对应6379,6380，6381,6382,6383,6384 

查看/etc/redis目录下会生成aof文件、cluster集群配置文件、redis日志文件、rdb文件

ls /etc/redis

2.6 创建cluster集群(IP地址排序奇数位的是主节点， -cluster-replicas 1 表示集群每个主节点分配1个从节点，-a为指定redis密码，因为配置文件中配置了redis密码，所以必须要指定否则会报错) 

redis-cli --cluster create 192.168.206.129:6379 192.168.206.129:6380  192.168.206.129:6381 192.168.206.129:6382 192.168.206.129:6383 192.168.206.129:6384 --cluster-replicas 1 -a 123456

检查集群状态(可在任意节点输入集群内的任意节点地址) 

redis-cli --cluster check 192.168.206.129:6379 -a 123456 

接cluster集群(指定任意节点地址都可以连接到集群，-c表示连接到集群) 

redis-cli -c -h 192.168.206.129 -p 6380 -a 123456

cluster info #在集群内通过此命令也可以看到集群状态

2.7 集群添加新的主节点 (按照上面创建一个端口为6385的新节点）

redis-cli --cluster add-node 新的主节点ip:port 集群任意节点ip:port -a 密码

redis-cli --cluster add-node 192.168.206.129:6385 192.168.206.129:6379 -a 123456

查看集群状态(新加入的主节点还没有分配哈希槽,前面的一段值是每个节点的id)

redis-cli -c -h 192.168.206.129 -p 6385 -a 123456

cluter nodes

将三个主节点的哈希槽分配一部分到新加入的主节点

redis-cli --cluster reshard 新的节点ip:port --cluster-from 集群主节点Aid，集群主节点Bid，集群主节点Cid --cluster-to 新加入的节点id --cluster-slots 分配的哈希槽值 -a 密码

redis-cli --cluster reshard 192.168.206.129:6385 --cluster-from fb9aee0b77e088e479d0ec5b1176e39806b163e1,9c746cda38b9ca198bf1760a351fd465d6fc743a,58319cbb4e11c055b878fcfe36cb165b79597882 --cluster-to 35e1b95b71a5f4d8f3f5077d586679c902fc1cd3 --cluster-slots 4096 -a 123456

 通过cluster nodes查看集群节点可以看到新加入的master节点已经有了哈希槽

2.8 集群添加新的从节点(按照上面创建端口为6386的新节点）

redis-cli --cluster add-node --cluster-slave 新的从节点ip:port 集群任意节点的ip:port --cluster-master-id 指定加入的master节点id -a 密码

redis-cli --cluster add-node --cluster-slave 192.168.206.129:6386 192.168.206.129:6385 --cluster-master-id 35e1b95b71a5f4d8f3f5077d586679c902fc1cd3 -a 123456

2.9 删除集群某个slave节点

redis-cli --cluster del-node 删除的slave节点ip:port 删除的slave节点id -a 密码

redis-cli --cluster del-node 192.168.206.129:6386 5066334fbee82bd6959dc90723ff7b03d8b0d326 -a 123456

删除集群的某个master节点(现在是四个节点每个节点哈希槽值为4096，将此哈希槽数值平均分配给其它三个节点，重复下面这个操作步骤即可，分配数量分别为1366、1365、1365)

redis-cli --cluster reshard 接收删除节点哈希槽数据的节点ip:port -a 密码

redis-cli --cluster reshard 192.168.206.129:6379 -a 123456

3.0 删除主节点 

redis-cli --cluster del-node 192.168.206.129:6379 fb9aee0b77e088e479d0ec5b1176e39806b163e1-a 123456

当清空了一个master的哈希槽值时，cluster集群就会自动将其对应的slave挂载到其他master上去

3.1 平衡各个节点的槽位数

redis-cli --cluster rebalance 集群任意节点ip:port

redis-cli --cluster rebalance 192.168.206.129:6379