Redis集群部署

Redis集群简介

Redis Cluster是一个无中心的结构，每个节点都保存数据和整个群集的状态。每个节点都会保存其他节点的信息，知道其他节点所负责的槽，并且会与其他节点定时发送心跳信息，能够及时感知群集中异常的节点。
Redis没有统一的路口，当客户端向群集中任一节点发送与数据库键有关的命令时，接受命令的节点会计算出命令要处理的数据库键属于哪个槽，并检查这个槽是否指派给了自己。如果键所在的槽正好指派给了当前节点，那么节点直接执行这个命令；如果键所在的槽并没有指派给当前节点，那么节点会向客户端返回一个MOVED错误，指引客户端转向（redirect）正确的节点，并再次发送之前想要执行的命令。

Redis集群概述

Redis集群介绍

1、Redis集群是一个提供在多个Redis间节点间共享数据的程序集
2、Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误
3、Redis集群通过分区来提供一定程度的可用性，在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令

Redis集群的优势

1、自动分割数据到不同的节点上
2、整个集群的部分节点失败或者不可达的情况下能够继续处理命令

Redis集群的实现方法

1、有客户端分片
2、代理分片
3、服务器端分片

Redis-Cluster数据分片

1、Redis集群没有使用一致性hash，而是引入了哈希槽概念
2、Redis集群有16384个哈希槽
3、每个key通过CRC16校验后对16384取余来决定放置槽
4、集群的每个节点负责一部分哈希槽
Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value
时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，
这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大
致均等的将哈希槽映射到不同的节点。
5、数据分片
以3个节点组成的集群为例
节点A包含0到5500号哈希槽
节点B包含5501到11000号哈希槽
节点C包含11001到16384号哈希槽
支持添加或者删除节点
添加/删除节点无需停止服务（支持热状态）
例如：
如果想新添加个节点D，需要移动节点A,B,C中的部分槽到D上
如果想移除节点A，需要将A中的槽移到B和C节点上，再将没有任何槽的A节点从集群中移除

Redis-Cluster的主从复制模型

1、集群中具有A,B,C三个节点，如果节点B失败了，整个集群就会因缺少5501-11000这个范围的槽而不可用
2、为每个节点添加一个从节点A1,B1,C1，整个集群便有三个master节点和三个slave节点组成，在节点B失败后，集群便会选举B1为新的主节点继续服务
3、当B和B1都失败后，集群将不可用

搭建Redis集群

master1 192.168.10.11:6379	slave1 192.168.10.21:6379
master2 192.168.10.12:6379	slave2 192.168.10.22:6379
master3 192.168.10.13:6379	slave3 192.168.10.23:6379

搭建步骤

修改配置文件

[root@Master1 ~]# vi /etc/redis/6379.conf
 70 bind 192.168.10.11  ###删除之前的127.0.0.1，改为各主机的IP地址
 89 protected-mode no  ###关闭保护模式
 137 daemonize yes  ###以独立进程启动
 833 cluster-enabled yes  ###开启群集功能
 841 cluster-config-file nodes-6379.conf  ###群集名称文件设置
 847 cluster-node-timeout 15000  ###群集超时时间
 700 appendonly yes  ###开启aof持久化

正常启动后，/var/lib/redis/6379/目录下会多出三个文件，第一个是持久化文件appendonly.aof，第二个是RDB持久文件dump.rdb，另外一个是节点首次启动生成的nodes-6379.conf

[root@Master1 ~]# /etc/init.d/redis_6379 start ###重启服务
[root@Master1 ~]# cd /var/lib/redis/6379/
[root@Master1 6379]# ls
appendonly.aof  dump.rdb  nodes-6379.conf

仅在一台redis中操作，准备生成集群：
导入redis-3.2.0.gem 至/OPT并执行

[root@Master1 ~]# cd /opt
[root@Master1 opt]# yum -y install ruby rubygems
[root@Master1 opt]# gem install redis-3.2.0.gem
Successfully installed redis-3.2.0
Parsing documentation for redis-3.2.0
Installing ri documentation for redis-3.2.0
1 gem installed

创建集群
六个实例分为三组，每组一主一从，–replicas 1表示每组一个从，下面交互的时候需要输入yes才可以创建。

[root@Master1 opt]# redis-cli --cluster create --cluster-replicas 1 192.168.10.11:6379 192.168.10.12:6379 192.168.10.13:6379 192.168.10.21:6379 192.168.10.22:6379 192.168.10.23:6379
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383   ###哈希槽
Adding replica 192.168.10.22:6379 to 192.168.10.11:6379
Adding replica 192.168.73.10.23:6379 to 192.168.10.12:6379
Adding replica 192.168.10.21:6379 to 192.168.10.13:6379   ###主从对应关系
M: e3e856a7b69bff9830dbde43389accdd35e69808 192.168.10.11:6379
   slots:[0-5460] (5461 slots) master
M: 93cb88f8ef0702f09af6ee6147f17a65282d84d7 192.168.10.12:6379
   slots:[5461-10922] (5462 slots) master
M: 0b54b026e3a10a667448bfc8a694de5859c77ede 192.168.10.13:6379
   slots:[10923-16383] (5461 slots) master
S: 259cf1fa747e04cb26f48a9b7337f3b328f6d3fa 192.168.10.21:6379
   replicates 0b54b026e3a10a667448bfc8a694de5859c77ede
S: 7e4145fc2d0e7ed4eae352988a6f6ce727e961b5 192.168.10.22:6379
   replicates e3e856a7b69bff9830dbde43389accdd35e69808
S: 3c0cb9d3b6e897fa98e3519d86c18e7724d96ca2 192.168.10.23:6379
   replicates 93cb88f8ef0702f09af6ee6147f17a65282d84d7
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
....
>>> Performing Cluster Check (using node 192.168.10.11:6379)
M: e3e856a7b69bff9830dbde43389accdd35e69808 192.168.10.11:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 3c0cb9d3b6e897fa98e3519d86c18e7724d96ca2 192.168.10.23:6379
   slots: (0 slots) slave
   replicates 93cb88f8ef0702f09af6ee6147f17a65282d84d7
S: 7e4145fc2d0e7ed4eae352988a6f6ce727e961b5 192.168.10.22:6379
   slots: (0 slots) slave
   replicates e3e856a7b69bff9830dbde43389accdd35e69808
S: 259cf1fa747e04cb26f48a9b7337f3b328f6d3fa 192.168.10.21:6379
   slots: (0 slots) slave
   replicates 0b54b026e3a10a667448bfc8a694de5859c77ede
M: 93cb88f8ef0702f09af6ee6147f17a65282d84d7 192.168.10.12:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 0b54b026e3a10a667448bfc8a694de5859c77ede 192.168.10.13:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

主从数据库验证

[root@Master1 ~]# redis-cli -h 192.168.10.12 -p 6379 -c
192.168.10.12:6379> set score 100
-> Redirected to slot [5176] located at 192.168.10.11:6379
OK
192.168.10.11:6379> quit

[root@Master1 ~]# redis-cli -h 192.168.10.13 -p 6379 -c
192.168.10.13:6379> get score
-> Redirected to slot [5176] located at 192.168.10.11:6379
"100"

192.168.10.11:6379> cluster info  ###查看集群状态
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:161
cluster_stats_messages_pong_sent:180
cluster_stats_messages_sent:341
cluster_stats_messages_ping_received:175
cluster_stats_messages_pong_received:161
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:341

192.168.10.11:6379> cluster nodes  ###查看节点信息
3c0cb9d3b6e897fa98e3519d86c18e7724d96ca2 192.168.10.23:6379@16379 slave 93cb88f8ef0702f09af6ee6147f17a65282d84d7 0 1605022024161 6 connected
7e4145fc2d0e7ed4eae352988a6f6ce727e961b5 192.168.10.22:6379@16379 slave e3e856a7b69bff9830dbde43389accdd35e69808 0 1605022022148 5 connected
259cf1fa747e04cb26f48a9b7337f3b328f6d3fa 192.168.10.21:6379@16379 slave 0b54b026e3a10a667448bfc8a694de5859c77ede 0 1605022022000 4 connected
93cb88f8ef0702f09af6ee6147f17a65282d84d7 192.168.10.12:6379@16379 master - 0 1605022023155 2 connected 5461-10922
e3e856a7b69bff9830dbde43389accdd35e69808 192.168.10.11:6379@16379 myself,master - 0 1605022023000 1 connected 0-5460
0b54b026e3a10a667448bfc8a694de5859c77ede 192.168.10.13:6379@16379 master - 0 1605022021000 3 connected 10923-16383

总结

1、导致群集down掉的两种情况
（1）三个master服务器全部宕机
（2）master1宕机，对应的slave1也发生了宕机
2、在上述实验中，如果master1宕机，slave1会继承master1的哈希槽，成为master1，这时master1重新启动之后会变成slave节点，且就算刚才顶替上来的slave1节点关机掉，master1依然是slave节点。