Redis高级应用——海量数据高并发下Reids的分片集群，原理和应用，集群伸缩以及项目配置_redis分片配置

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

• 海量数据存储问题
• 高并发写的问题

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个master节点，每个master包含一个slave节点。

Redis集群算法的演变：

一致性Hash算法：依赖Hash插槽，取值：0 - 16383

虚拟节点一致性Hash算法：

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个master节点，每个master包含一个slave节点。

这里我们会在同一台虚拟机中开启6个redis实例，模拟分片集群，信息如下：

IP	PORT	角色
192.168.3.111	6310	master
192.168.3.111	6320	master
192.168.3.111	6330	master
192.168.3.111	7310	slave
192.168.3.111	7320	slave
192.168.3.111	7330	slave

搭建Redis分片集群

准备实例

创建出6310、6320、6330、7310、7320、7330目录

ps -ef | grep redis
kill -9 xx bb cc              #docker stop myredis
mkdir -p /redis/cluster
cd cluster
mkdir 6310 6320 6330 7310 7320 7330
mkdir tmp

在/redis/cluster下准备一个新的redis.conf文件，内容如下：（先创建tmp目录，在其下创建6310-7330）

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /redis/cluster/tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /redis/cluster/tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.3.111
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /redis/cluster/tmp/6379/run.log

将这个文件拷贝到每个目录下：

# 进入/redis/cluster
cd /redis/cluster
# 执行拷贝
echo 6310 6320 6330 7310 7320 7330 | xargs -t -n 1 cp redis.conf

修改每个目录下的redis.conf，将其中的6379修改为与所在目录一致：

# 进入/redis/cluster
cd /redis/cluster
# 修改配置文件
printf '%s\n' 6310 6320 6330 7310 7320 7330 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

安装redis

Redis是基于C语言编写的，因此首先需要安装Redis所需要的gcc依赖：

yum install -y gcc tcl

官网提供了Linux版的Redis下载：https://download.redis.io/releases/

上传压缩包redis-6.2.7.tar.gz到任意目录，如，/root/redis-6.2.7.tar.gz

解压缩：

tar -xzf redis-6.2.7.tar.gz

进入redis目录：

cd redis-6.2.7

运行编译命令：

make && make install

如果没有出错，应该就安装成功了。

默认的安装路径是在 /usr/local/bin目录下：

该目录以及默认配置到环境变量，因此可以在任意目录下运行这些命令。其中：

• redis-cli：是redis提供的命令行客户端
• redis-server：是redis的服务端启动脚本
• redis-sentinel：是redis的哨兵启动脚本

启动

因为已经配置了后台启动模式，所以可以直接启动服务：（注意：需要创建tmp目录、6310-7330目录）

# 进入/redis/cluster
cd /redis/cluster
# 一键启动所有服务
printf '%s\n' 6310 6320 6330 7310 7320 7330 | xargs -I{} -t redis-server {}/redis.conf

发现服务都已经正常启动：

如果要关闭所有进程，可以执行命令：

如果要关闭所有进程，可以执行命令：

printf '%s\n' 6310 6320 6330 7310 7320 7330 | xargs -I{} -t redis-cli -p {} shutdown

创建集群

虽然服务启动了，但是目前每个服务之间都是独立的，没有任何关联。

我们需要执行命令来创建集群，在Redis5.0之前创建集群比较麻烦，5.0之后集群管理命令都集成到了redis-cli中。

我们使用的是Redis6.2.7版本，集群管理以及集成到了redis-cli中，格式如下：

redis-cli --cluster create --cluster-replicas 1 192.168.3.111:6310 192.168.3.111:6320 192.168.3.111:6330 192.168.3.111:7310 192.168.3.111:7320 192.168.3.111:7330

命令说明：

• redis-cli --cluster或者./redis-trib.rb：代表集群操作命令
• create：代表是创建集群
• --replicas 1或者--cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时节点总数 ÷ (replicas + 1) 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master

运行后的样子：

这里输入yes，则集群开始创建：

通过命令可以查看集群状态：

redis-cli -p 6310 cluster nodes

测试

尝试连接6310节点，存储一个数据：

# 连接（测试，看不到节点切换，需要带上-c 表示操作集群节点）
redis-cli -c -p 6310
# 存储数据
set num 123
# 读取数据
get num
# 再次存储
set a 1

集群操作时，需要给redis-cli加上-c参数才可以：

分片集群原理

搭建分片集群

分片集群特征：

• 集群中有多个master，每个master保存不同数据
• 每个master都可以有多个slave节点
• master之间通过ping监测彼此健康状态
• 客户端请求可以访问集群任意节点，最终都会被转发到正确节点

散列插槽

插槽原理

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上，查看集群信息时就能看到。

数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：

• key中包含”{}”，且“{}”中至少包含1个字符，“{}”中的部分是有效部分
• key中不包含“{}”，整个key都是有效部分

例如：key是num，那么就根据num计算，如果是{pet}num，则根据pet计算。计算方式是利用CRC16算法得到一个hash值，然后对16384取余，得到的结果就是slot值。

比如：在6310这个节点执行set a 1时，对a做hash运算，对16384取余，得到的结果是15495，因此要存储到6330节点。

在6330节点，执行get num时，对num做hash运算，对16384取余，得到的结果是2765，因此需要切换到7001节点

小结

Redis如何判断某个key应该在哪个实例？

• 将16384个插槽分配到不同的实例
• 根据key的有效部分计算哈希值，对16384取余
• 余数作为插槽，寻找插槽所在实例即可

如何将同一类数据固定的保存在同一个Redis实例？

• 这一类数据使用相同的有效部分，例如key都以{typeId}为前缀
• user:name 18
• user:age 20

认识集群伸缩

集群：横向扩展，水平扩展

redis-cli —cluster提供了很多操作集群的命令，可以通过下面方式查看：

需求分析

需求：向集群中添加一个新的master节点，并向其中存储 num = 10

• 启动一个新的redis实例，端口为6340
• 添加6340到之前的集群，并作为一个master节点
• 给6340节点分配插槽，使得num这个key可以存储到6340实例

这里需要两个新的功能：

• 添加一个节点到集群中
• 将部分插槽分配到新插槽

创建新的redis实例

创建一个文件夹：

mkdir 6340

拷贝配置文件：

cp redis.conf 6340

修改配置文件：

把 6379 改成 6340

启动

redis-server 6340/redis.conf

添加新节点到redis集群

添加节点的语法如下：

执行命令：

redis-cli --cluster add-node  192.168.3.111:6340 192.168.3.111:6310

通过命令查看集群状态：

redis-cli -p 6310 cluster nodes

如图，6340加入了集群，并且默认是一个master节点：

但是，可以看到6340节点的插槽数量为0，因此没有任何数据可以存储到6340上

转移插槽

我们要将num存储到6340节点，因此需要先看看num的插槽是多少：

如上图所示，num的插槽为2765.

我们可以将0~3000的插槽从6310转移到6340，命令格式如下：

具体命令如下：

建立连接：

redis-cli --cluster reshard 192.168.3.111:6310

得到下面的反馈：

询问要移动多少个插槽，我们计划是3000个：

新的问题来了：

哪个node来接收这些插槽？？

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

6fb129c1bd6003.png)

询问要移动多少个插槽，我们计划是3000个：

新的问题来了：

哪个node来接收这些插槽？？

[外链图片转存中…(img-M6q8N0lg-1715282812963)]
[外链图片转存中…(img-Ryqes7Jj-1715282812964)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！