Redis——Cluster

Redis Cluster 采用无中心结构，每个节点保存数据和整个集群的状态，每个节点都和其他所有节点连接，节点之间使用流言协议 (Gossip Protocols) 去传播信息以及发现新的节点。

Redis Cluster 的主要目的是将不同的 key 分散放置到不同的 Redis 节点。

分片

分片：按照某种规则去划分数据库，分散存储在多个节点上。

常见的两种分片方式是顺序分区和 Hash 分区：

方式	说明	特点	产品
顺序分区	按顺序进行分区	数据分散度易倾斜，键值业务相关，可顺序访问，支持批量操作	BigTable、HBase
哈希分区	key 取 Hash 进行分区	数据分散度高，键值分布业务无关，无法顺序访问，支持批量操作	一致性哈希Memcache、Redis Cluster

Hash 分区主要有三种方式：

1、节点取余分区

客户端分片，分区位置 = hash(key) % nodes，nodes 指节点数。

存在的问题：如果扩容，约 80% 的数据会做漂移，如果是翻倍扩容，约 50% 的数据会做漂移，大量的漂移会影响系统性能，建议翻倍扩容。

2、一致性哈希分区
待续

3、虚拟槽分区

预设虚拟槽：每个槽映射一个数据子集，一般比节点数大。

Redis Cluster 使用的分区方式，服务端分片。Redis Cluster 中有一个16384 (0~16383) 长度的虚拟槽。

分区位置 = hash(key) % 16383。

像节点取余分区和一致性哈希分区都有一个问题，就是添加节点之后，数据会进行漂移，存在丢数据的可能性，只能作为缓存场景来使用。而虚拟槽分区是不存在这样的问题的，因为每个槽负责的范围是固定的，加了新节点，也不会把其他节点的槽抢过去。

基本架构

节点：Redis Cluster 中会有多个节点，节点之间是相互通信的，且每个节点都负责读写。

meet 操作（gossip 协议）：节点之间相互通信的基础。假如现在有 5 个节点，node1 节点对 node2、node3、node4、node5 节点分别发送了一个 meet 操作，node2 等节点会各自返回一个 pong 命令（表示 Redis 服务运行正常），其他节点可以自动找到，最终所有节点都可以相互通信。

分配槽：需要给节点分配虚拟槽。

对于客户端来说，只需要计算 slot = hash(key) %16383。

复制：为了保证高可用，每一个节点都有一个 slave 节点。

搭建集群

配置开启 Redis，原生命令安装和官方工具安装这一步是一样的。这里 Redis 五个节点用五个端口进行区分，分别是 7000、7001、7002、7003、7004。

Redis 节点 redis/config/redis-7000.conf 配置（redis.conf 模板文件在 redis/redis.conf，这里只给出一个节点配置，其余节点只能端口号不同）：

# 关闭保护模式
protected-mode no
# 配置启动端口
port 7000
# 配置后台启动
daemonize yes
# 修改pidfile指向路径 redis-${port}.pid
pidfile /var/run/redis-7000.pid
# 日志记录方式 redis-${port}.log
logfile "redis-7000.log"
# 配置dump数据存放目录
dir "/opt/soft/redis/data/"
# 配置dump数据文件名 redis-${port}.rdb
dbfilename dump-7000.rdb
# 开启集群模式
cluster-enabled yes
# cluster节点超时时间,毫秒
cluster-node-timeout 15000
# cluster配置文件
cluster-config-file "nodes-7000.conf"
# 是否需要集群内所有节点都能提供服务才认为集群是正确的,默认yes
cluster-require-full-coverage no

启动命令：

# redis-server redis-7000.conf

继续操作，分别启动剩余 7001、7002、7003、7004 端口的节点。此时各个节点没有进行任何通信，各自都是孤立的。

原生命令安装

首先进行 meet 操作（gossip 协议）：

# redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 -p 7001   //在 7000 上执行命令，7000 端口的 redis 节点 meet 7001端口的 redis 节点
# redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 -p 7002
# redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 -p 7003
# redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 -p 7004

然后分配槽：

# redis-cli -h 127.0.0.1 -p 7000 cluster addslots {0...3276}   //在 7000 上执行命令
# redis-cli -h 127.0.0.1 -p 7001 cluster addslots {3277...6553}
# redis-cli -h 127.0.0.1 -p 7002 cluster addslots {6554...9829}
# redis-cli -h 127.0.0.1 -p 7003 cluster addslots {9830...13105}
# redis-cli -h 127.0.0.1 -p 7004 cluster addslots {13106...16383}

这样所有槽分配之后，集群就算基本建立完成了。

最后需要设置主从（只有有了主从关系后，才可以实现故障自动转移）：

# redis-cli -h 127.0.0.1 -p 8000 cluster replicate ${node-id-7000}   //在 8000 上执行命令

node-id 是指集群的一个节点 id，在集群启动的时候就会进行分配，需要注意的是，这里的 node-id 非单机节点的 runid，runid 重启会重置，node-id 重启不会重置。

官方工具安装（生产推荐）

Redis Cluster 官方提供了 Ruby 的安装脚本，相比于原生命令安装要容易很多。

Linux 上安装 Ruby 环境：

# wget -P /usr/local http://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.3.tar.gz
# cd /usr/local
# tar -zxvf ruby-2.6.3.tar.gz                   //解压缩
# cd ruby-2.6.3
# ./configure -prefix=/usr/local/ruby                       //配置
# make
# make install                                 //安装
# cd /usr/local/ruby
# cp bin/ruby /usr/local/bin
# cp bin/gem /usr/local/bin

安装 Ruby Redis 客户端：

# wget -P /usr/local http://rubygems.org/downloads/redis-4.1.2.gem
# cd /usr/local
# gem install -l redis-4.1.2.gem   //安装rubygem redis
# gem list --check redis gem
# cp /usr/local/redis/src/redis-trib.rb /usr/local/bin   //安装redis-trib.rb

redis-trib 安装 Redis Cluster：

一键开启：

./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:8000 127.0.0.1:8001 127.0.0.1:8002 127.0.0.1:8003 127.0.0.1:8004

这个命令表示创建集群，–replicas 1 表示每个主节点配备一个从节点，前五个 7000 到 7004 的端口表示主节点，后五个 8000 到 8004 的端口表示从节点，7000 对应 8000，7001 对应 8001，以此类推。

相比原生命令安装，官方工具安装更高效、准确，生成环境可使用。

集群伸缩

伸缩原理

一个 node1、node2、node3 组成的集群，加入 node4 的过程，其实就是槽和数据在节点之间的移动。

扩容集群

127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 组成的集群，加入 127.0.0.1:7003。

原生命令安装

1、准备新节点

需要新节点是集群模式（cluster-enabled yes），配置需要和其他节点统一，然后启动改节点。

2、加入集群

通过 meet 操作（gossip 协议）来完成的：

# redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 -p 7003   //在 7000 上执行命令，7000 端口的 redis 节点 meet 7003端口的 redis 节点
# redis-cli -h 127.0.0.1 -p 7000 cluster nodes   //加入集群，观察集群配置

3、迁移槽和数据

首先进行槽迁移计划，平均槽数据，计算每个节点应该迁移到新节点的槽的数量。

然后迁移数据，迁移数据的过程是比较复杂的：

迁移数据的完整流程图：

4、添加从节点

官方工具安装（生产推荐）

扩容集群命令：./redis-trib.rb add-node new_host:new_port existing_host:existing_port --slave --master-id < arg>

 # ./redis-trib.rb add-node 127.0.0.1:7003 127.0.0.1:7000

建议使用 redis-trib.rb，能够避免新节点已经加入了其他集群，造成故障。

缩容集群

127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 组成的集群，缩容 127.0.0.1:7003。

原生命令安装

1、下线迁移槽

将下线节点持有的槽均匀的迁移到其他节点，迁移命令跟扩容集群的命令相同，不再赘述。

2、忘记节点

# redis-cli -h 127.0.0.1 -p 7000 cluster forget 7003   //在7000节点上执行，让7000忘记7003节点

这个命令有一个注意点，60s 后如果集群中还有节点没有忘记该节点，则集群中仍然会扩散消息，所以想要节点真正下线，需要对所以节点执行忘记节点操作。

3、关闭节点

官方工具安装（生产推荐）

1、集群缩容

集群缩容命令：

 # ./redis-trib.rb reshard --from {7003 nodeid} --to {7000…7002 nodeid} --slots 1366 127.0.0.1:7003   //任一端口上执行，分别迁移槽位到之前的三个主节点

建议使用 redis-trib.rb，能够避免新节点已经加入了其他集群，造成故障。

2、下线节点

先下线从节点，再下线主节点。

# ./redis-trib.rb del-node 127.0.0.1:7000 {7003nodeid}
# ./redis-trib.rb del-node 127.0.0.1:7000 {8003nodeid}

下线节点包含了从集群中 remove 节点、从集群中 forget 节点、shutdown 节点。

3、忘记节点

# redis-cli -h 127.0.0.1 -p 7000 cluster forget {nodeId}
# redis-cli -p cluster slots   //查看节点情况

集群实现原理

故障转移

Redis Cluster 自身实现了高可用，不需要安装 Redis Sentinel（哨兵）。如果某个节点出现了故障，Redis Cluster 可以通过其他节点对当前节点的监控，然后根据一定方法，实现故障转移。

1、故障发现

通过 ping/pong 消息实现故障发现（不需要 Sentinel）。

下线也分为主观下线（某个节点认为另一个节点不可用）和客观下线（当半数以上持有槽的主节点都标记某节点不可用）。

主观下线流程：

客观下线流程：

接收到其他节点发来的 PING 消息，如果包含了 pfail（主观下线）消息，就会将 pfail 消息的内容添加到自身的故障列表中，这个故障列表包含了当前节点收到的每一个节点对其他节点的信息。

尝试客观下线流程：

通知集群内所有节点标记故障节点为客观下线；通知故障节点的从节点触发故障转移流程。

2、故障恢复

发生客观下线之后，客观下线通知给从节点，从节点接收到消息后，就开始做故障恢复，从而保证集群的高可用，主要分为资格检查、准备选举时间、选举投票、替换主节点。

资格检查：

1）每个从节点检查与故障主节点的断线时间；
2）如果超过了 cluster-node-timeout * cluster-slave-validity-factor 取消资格，cluster-node-timeout 默认 15 秒，cluster-slave-validity-factor 默认是 10。

准备选举时间：

当资格检查通过后，需要更新触发故障选举的时间，只有达到该时间才有可能触发后续的流程。为了保证偏移量比较大的从节点有更小的延迟，达到选举时间，我们会给它更小的选举时间，让它首先达到选举时间，获得更多的票数，最终成为 master 节点。

偏移量越大，数据越接近主节点，更有可能成为 master 节点。

选举投票：

从节点达到选举时间之后，它会让主节点发起一个选举，然后主节点进行投票。偏移量越大，选举时间越短，更有可能获得更多的票数。

替换主节点：

1）当前从节点取消复制变为主节点，即 slave no one；
2）执行 clusterDelSlot 撤销故障主节点负责的槽，并执行 clusterAddSlot 把这些槽分配给自己；
3）向集群广播自己的 PONG 消息，表明已经替换了故障从节点。

---

开发运维常见问题

数据迁移

1、官方迁移工具：redis-trib.rb import。

• 只能从单机迁移到集群；
• 不支持在线迁移：source 需要停写；
• 不支持断点续传；
• 单线程迁移：影响速度。

集群VS单机

集群限制：

• key 批量操作支持有限，例如 mget、mset 必须在一个 slot；
• key 事务和 lua 支持有限，操作的 key 必须在一个节点上；
• key 是数据分区的最小粒度，不支持 bigkey 分区；
• 不支持多个数据库，集群模式下只有一个 db 0；
• 复制只支持一层，不支持树形复制结构。

Redis Cluster 不一定好。像 Redis Cluster 这样的分布式 Redis，可以满足容量和性能的扩展性，但是实际上很多业务是不需要的。Redis Cluster 有以下缺点：

• 大多数时候客户端性能会降低；
• 命令无法跨节点使用（mget、keys、scan、flush、sinter 等）；
• lua 和事务无法跨节点使用；
• 客户端维护更复杂，SDK 和应用本身消耗（例如更多的连接池）。