微服务之分布式缓存Redis-第四章-搭建Redis分片模式

最新推荐文章于 2024-05-17 10:42:49 发布
最新推荐文章于 2024-05-17 10:42:49 发布
阅读量428 收藏 2
点赞数
分类专栏： 开发组件 文章标签： redis 缓存 微服务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Blueeyedboy521/article/details/125040757
版权

目录

一、分片集群结构

主从和哨兵可以解决高可用，高并发读的问题。但是依然有两个问题没有解决：
- 海量数据存储问题
- 高并发写的问题
使用分片集群可以解决上述问题，分片集群特征：
- 集群中有多个master，每个master保存不同数据
- 每个master都可以有多个slave节点
- master之间通过ping监测彼此健康状态

在这里插入图片描述

二、搭建分片集群

1、集群架构

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个master节点，每个master包含一个slave节点，结构如下：
在这里插入图片描述
这里我们会在同一台虚拟机开启6个redis实例，模拟分片集群，信息如下：

IPPORT角色
192.168.0.1017001master
192.168.0.1017002master
192.168.0.1017003master
192.168.0.1018001slave
192.168.0.1018002slave
192.168.0.1018003slave

2、准备实例和配置

创建目录

cd /tmp
mkdir 7001 7002 7003 8001 8002 8003

在/tmp下准备一个新的redis.conf文件，内容如下：

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.150.101
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log

将这个文件拷贝到每个目录下：

# 进入/tmp目录
cd /tmp
# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

修改每个目录下的redis.conf，将其中的6379修改为与所在目录一致：

# 进入/tmp目录
cd /tmp
# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf
3.启动
# 进入/tmp目录
cd /tmp

3、一键启动所有服务

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

通过ps查看状态：

ps -ef | grep redis

发现服务都已经正常启动：
在这里插入图片描述

4、搭建集群

Redis5.0之前

# 安装依赖
yum -y install zlib ruby rubygems
gem install redis
 
 
#然后通过命令来管理集群：
# 进入redis的src目录
cd /tmp/redis-6.2.4/src
# 创建集群
./redis-trib.rb create --replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

Redis5.0之后

执行命令:

redis-cli --cluster create --cluster-replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

命令说明：

  • redis-cli --cluster或者./redis-trib.rb：代表集群操作命令

  • create：代表是创建集群

  • –replicas 1或者–cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时节点总数 ÷ (replicas + 1) 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master
    本示例中，节点总数是6，副本是1，所以有3个master分片，因此默认命令的前三个就是master节点。

执行命令如下：

可以看出master节点是7001,7002,7003，注意每个节点对应的插槽slots范围。
在这里插入图片描述

5、查看集群状态

redis-cli -p 7001 cluster nodes

在这里插入图片描述

三、散列插槽

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上，查看集群信息时就能看到：
在这里插入图片描述
数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：

  • key中包含"{“，且”{}“中至少包含1个字符，”{}"中的部分是有效部分
  • key中不包含"{}"，整个key都是有效部分

例如：key是num，那么根据num计算，如果是{itcast}num，则根据itcast计算。计算方式是利用CRC16算法得到一个hash值，然后对16384取余，得到的结果就是slot值。

1、测试插槽

我们先连接到7001，注意一定要加-c表示集群模式

redis-cli -c -p 7001

1）、我们保存num=123，发现hash计算之后保存到了7001节点
2）、当我们保存a=1，经过hash计算，跳转到7003存储
3）、当我们在7003获取num时，发现跳转回了7001
说明集群生效，数据被分片存储了
在这里插入图片描述

2、redis如何判断某个key应该在哪个示例

  • 将16384个插槽分配到不同的实例
  • 根据key的有效部分计算哈希值，对16384取余
  • 余数作为插槽，寻找插槽锁在实例即可

3、如何将同一类数据固定的保存在同一个redis示例

这一类数据使用相同的有效部分，例如key都以{typeId}为前缀

例如，我们需要把食品类的商品存入到一个redis中，则set {FOOD}:apple = xxx；
示例：由于在num前面加了前缀，所以计算hash，插槽在7003在这里插入图片描述

四、集群伸缩

1、添加一个节点到集群

在这里插入图片描述

2、向集群中添加一个新的master节点，并向其中存储num = 10

需求：

  • 启动一个新的redis实例，端口是7004
  • 添加7004到之前的集群，并作为一个master节点
  • 给7004节点分配插槽，使的num这个key可以存储到7004，原本num这个key是存储在7001

2.1、创建配置

# 创建7004
cd /tmp
mkdir 7004
# 拷贝文件
cp -rp redis.conf 7004
# 修改端口
sed -i s /6379/7004/g 7004/redis.conf

2.2、运行

redis-server 7004/redis.conf

2.3、查看运行状态

ps -ef | grep redis

在这里插入图片描述

2.4、添加到集群

添加新节点，并设置一个当前已经存在的节点比如7001，将来是从7001分配插槽

redis-cli --cluster add-node 192.168.150.101:7004 192.168.150.101:7001

2.5、查看集群状态

redis-cli -p 7001 cluster nodes

在这里插入图片描述

此时发现，7004已经是master节点，但是还没有从7001分配插槽

2.6、重新分片，分配插槽

# 1、对7001重新分配插槽
redis-cli --cluster reshard 192.168.150.101:7001
# 2、提示你想要移动多少插槽
# How many slots do you want to move (from 1 to 16384)?
# 我们计划是1-3000分配给7004，所以输入3000之后提示如下谁来接收插槽
# 3、What is the receiving node ID?
# 输入7004的ID
# 4、提示从哪个数据源ID拷贝，我们从7001拷贝，如果粘贴7001的实例ID
# source node #1: 7001的ID
# 5、结束
# source node #2: done
# 6、由于0-3000的插槽原本有数据存储在7001，所以会提示是否需要把他们移动到7004，我们确定是

那我们就复制7004的ID
在这里插入图片描述
过程
在这里插入图片描述

2.7、最后查看移动之后的效果

在这里插入图片描述

五、故障转移

1、概念

当集群中一个master宕机会发生设么呢？

  • 首先是该实例与其他实例失去连接
  • 然后是疑似宕机
  • 最后是确定下线，自动提升一个slave为新的master

2、测试宕机

测试让7002这个master节点宕机

redis-cli -p 7002 shutdown

此时查询状态，我们发现8003变成了master，并且7002显示fail

在这里插入图片描述

测试7002恢复

redis-server -p 7002/redis.cinf

在这里插入图片描述

3、数据迁移

利用cluster failover命令可以手动让集群中的某个master宕机，切换到执行cluster failover命令的这个slave节点，实现无感知的数据迁移，其中流程如下：
在这里插入图片描述
手动的Failover支持三种不同不是：

  • 缺省：默认的流程，如图1-6步
  • force：省略了对offset的一致性校验
  • takeover：直接执行第5步，忽略数据一致性、忽略master状态和其他master的意见。

在7002这个节点执行手动故障转移，重新夺回master地位

# 利用redis-cli连接7002这个节点
redis-cli -p 7002
# 执行cluster failover命令
127.0.0.1:7002> CLUSTER FAILOVER
OK

此时再次查看集群状态，7002重新回到master节点，如下图：

在这里插入图片描述

六、RedisTemplate访问分片集群

RedisTemplate底层同样基于lettuce实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

  • 引入redis的starter依赖
  • 配置分片集群地址
  • 配置读写分离

与哨兵模式相比，其中只有分片集群的配置方式略有差异，如下：

spring:
	redis:
	  cluster:
	    nodes:
	      - 192.168.150.101:7001
	      - 192.168.150.101:7002
	      - 192.168.150.101:7003
	      - 192.168.150.101:8001
	      - 192.168.150.101:8002
	      - 192.168.150.101:8003

1、设置 set num

我们发现num这个key存在7001
在这里插入图片描述

2、查询 get num

我们发现num这个key是存在7001和8002，而8002是从节点，说明也实现了读写分离。
在这里插入图片描述
在这里插入图片描述

Blueeyedboy521
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微服务框架 SpringCloud微服务架构 分布式缓存 41 Redis 持久化 41.3 AOF 持久化
谢谢你们的关注
12-14 84
微服务框架 SpringCloud微服务架构 分布式缓存 41 Redis 持久化 41.3 AOF 持久化
微服务 - Redis缓存 · 数据结构 · 持久化 · 分布式 · 高并发
xxxzzzqqq_的博客
04-19 141
在单站点中，可以将在线用户信息存储在Session中，随时变更获取信息；在多站点分布式集群如何做到Session共享呢？架设一个Session服务，供多服务使用。频繁使用的数据存在DB端，频繁的DB连接，频繁的IO；数据存于内存中更能减少性能的消耗，更能提高使用效率。集群化分布式时，为解决以上现象，建立缓存服务显得尤为重要。
【微服务】分布式缓存Redis
東三城的博客
02-02 482
Redis持久化(RDB持久化,AOF持久化),Redis主从,Redis哨兵,Redis分片集群
Redis思维导图分布式缓存-基于Redis集群解决单机Redis存在的问题
11-17
分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题分布式缓存-基于Redis集群解决单机Redis存在的问题.分布式缓存-基于Redis集群解决单机Re
redis 分布式缓存实战-redis 事务
01-26
redis 事务单独的隔离操作：事务中的所有命令都会序列化、按顺序执行。事务在执行过程中，不会被其他客户端发送过来的命令请求所打断。
redis常用命令
weixin_64035133的博客
03-18 1248
列表类型是一个有序的字段串列表，内部是使用双向链表实现，所有可以向两端操作元素，获取两端的数据速度快，通过索引到具体的行数比较慢。nx：如果key不存在则建立，xx：如果key存在则修改其值，也可以直接使用setnx/setex命令。1、列表使用链表实现，两头快，中间慢。如果字符串中的值是数字类型的，可以使用incr命令每次递增，不是数字类型则报错。redis字符串类型键和值是字典结构形式，这里的散列类型其值也可以是字典结构。Redis接收的是UTF-8的编码，如果是中文一个汉字将占3位返回。
Redis：分片（Redis Cluster）
CRUD工程师
08-27 2338
Redis 集群（Redis Cluster）是 Redis 官方提供的分布式数据库方案，通过划分 hash 槽来分区，进行数据分享，每个主节点只保存部分信息。。在前文中我们介绍了主从复制与哨兵，这两个机制保障了redis的高可用，但实际使用中会发现虽然slave节点扩展了整个系统的的读并发能力，但是写能力和存储能力是无法进行扩展，就只能是master节点能够承载的上限。如果。...
Redis分片
weixin_47188125的博客
08-26 2974
这就好比不要把鸡蛋放在同一个篮子里，这样一旦一个篮子掉在地上，摔碎了，别的篮子里还有没摔碎的鸡蛋，不至于一个不剩。算笔账，假设系统QPS 1w，每次调用会访问10次缓存或DB的数据，则当缓存命中率仅减少1%，DB每s就增加1w * 10 * 1% = 1000次请求。不利于扩展，当需要扩展的时候，前三个数据库的数据都可能需要迁移到第四个redis数据库中，发生大规模的数据迁移。这样，当某节点故障，其备份节点可顶替它继续服务。，考虑将数据分片，依照分片算法将数据打散到多个不同节点，每个节点存储部分数据。...
redis哈希槽和一致性哈希实现原理
csdn_life18的博客
10-24 3149
文章标题一致性哈希 一致性哈希 伴随着系统流量的增大,出现了应用集群。在 Redis 中为了保证 Redis 的高可用也为 Redis 搭建了集群对数据进行分槽存放。在 Mysql数据库要存储的量达到一个很高的地步的时候,我们会对数据库进行分库分表操作。OK，到这儿先假设我们不知道什么是集群、什么是分库分表,我们先来看一个数据库水平切分演变的例子: 假设我们的系统中有一张会员表 customer_info, 我们的系统刚开始无人问津,我们在一个单个的数据库中放这张表，所有的会员记录都插入到这个数据库的这张表
微服务 分片 运维管理
m0_62434717的博客
02-09 7076
微服务笔记
Redis分布式锁python-redis-lock使用方法
01-21
python-redis-lock 多个redis客户端访问同一个redis服务端，控制并发。 github：https://pypi.org/project/python-redis-lock/ 在使用这个库之前，需要安装如下： pip install python-redis-lock 使用锁的示例： lock = redis_lock.Lock(conn, name-of-the-lock) if lock.acquire(blocking=False): print(Got the lock.) lock.release() else: print(Some
redis分布式缓存实战-redis事务
02-24
redis事务单独的隔离操作：事务中的所有命令都会序列化、按顺序执行。事务在执行过程中，不会被其他客户端发送过来的命令请求所打断。　　redis事务没有隔离级别的概念：队列中的命令没有提交之前都不会实际的被执行，因为事务提交前任何指令都不会被实际执行，也就不存在“事务内的查询看到事务里的更新，在事务外查询不能看到”。　　redis事务不保证原子性：redis同一个事务中如果有一条命令运行时执行失败，其后的命令仍然会被执行，没有回滚。　　Multi、Exec、Discard和Watch是Redis事务的相关命令。　　Multi：标记一个事务块的开始。Multi命令用于开启一个事务，它总是返回OK
分布式缓存技术-Redis和Memcached选型对比-性能测试
05-11
不光有含金量，还很有颜值。 Redis-vs-Memcached-Infographic-ScaleGrid-Blog
如何高效读取计费规则等热数据——分布式缓存
09-22 273
前几章节主要聚集于会员与积分模块的业务功能，引领大家尝试了服务维护、配置中心、断路器、服务调用等常见的功能点，本章节开始进入核心业务模块——停车计费，有两块数据曝光率特别高：进场前的可用车位数和计费规则，几乎每辆车都进出场都用到，这部分俗称为热数据：经常会用到。读关系库很明显不是最优解，引入缓存才是王道。 分布式缓存 这里仅讨论软件服务端的缓存，不涉及硬件部分。缓存作为互联网分布式开发两大杀器之一...
微服务之分布式缓存Redis-第三章-搭建Redis哨兵模式
Blueeyedboy521的博客
05-27 533
目录一、场景二、Redis哨兵的作用和原理1、哨兵（Sentinel）作用2、服务状态监控3、选举新的master4、如何实现故障转移5、总结三、搭建哨兵架构1、实例结构2、准备实例和配置我们创建三个文件夹，名字分别叫s1、s2、s3然后在s1目录下创建sentinel.conf文件，添加下面内容：将/tmp/s1/sentinel.conf文件拷贝到s2、s3两个目录中3、启动redis主从结构4、启动哨兵（sentinel）5、测试四、RedisTemplate的哨兵模式1、controller2、引入
redis面试：redis单副本&&多副本
OceanStar的博客
10-17 974
redis单福本，采用单个redis节点部署架构，没有备用节点实时同步数据，不提供数据持久化和备份策略，适用于数据可靠性要求不高的纯缓存业务场景。 优点： 架构简单，部署方便 高性价比：缓存使用时无需备用节点（单实例可用性可以用supervisor或crontab保证），当然为了满足业务的高可用性，也可以牺牲一个备用节点，但同时刻只有一个实例对外提供服务 高性能 缺点： 不保证数据的可靠性 在缓存使用，进程重启后，即使由备用的节点解决高可用性，但是仍然不能解决缓存预热的问题，因此不适合数据可靠性要求
Redis分片机制和集群搭建
weixin_43866048的博客
10-07 701
需求数据 如果需要在redis中进行海量的数据存储,如果只有一台redis显然不能实现该功能.如果通过扩大内存的方式也不能达到要求.因为时间都浪费在寻址中. 如何有效的存储海量的数据呢??? Redis分片说明 说明:一般采用多台redis,分别保存用户的数据,从而实现内存数据的扩容. 对于用户而言:将redis分片当做一个整体,用户不在乎数据到底存储到哪里,只在乎能不能存. 分片主要的作用: 实现内存扩容. Redis分片准备 创建目录 说明:在redis根目录中创建一个shards目录 分片搭建策略
Redis分区/分片详解
梁老师教你编程序
11-18 4172
redis在3.0版本前只支持单实例模式，虽然现在的服务器内存可以到100GB、200GB的规模，但是单实例模式限制了redis没法满足业务的需求（比如新浪微博就曾经用redis存储了超过1TB的数据）。它可以将众多小内存的redis实例整合起来，将分布在多台机器上的众多CPU核心的计算能力聚集在一起，完成海量数据存储和高并发读写操作。当一台物理机器存储不够的时候，我们可以将一般的实例移动到我们的第二台物理机上，依次类对，我们可以保证集群中Redis的实例数不变，又可以达到扩充机器的目的。
使用Redisson实现延时消息
最新发布
qq_24510649的博客
05-17 571
Redis 的过期事件监听是基于 pub/sub 的，key 过期时会 pub 消息到一个内置的 channel 中，客户端可以通过监听这个 channel 获取到消息，进而实现延时队列的功能。所以删除过期的key不一定是过期的时间。：Redisson的延时队列可以在分布式环境中使用，并提供了分布式锁和协调机制，确保多个节点或实例之间的任务处理的一致性和可靠性。：Redisson的延时队列支持异步任务处理，减少了等待时间和阻塞，提升了整体的吞吐量和响应性能。，查询头部元素，如果过期，使用ZREM移除。
分布式缓存redis
08-30
引用提到了Redis，它是一种常用的分布式缓存系统。Redis是一个开源的、基于内存的数据存储系统，它可以用作缓存、消息队列、持久化等多种用途。由于Redis具有高性能、高可用性和可扩展性，所以在分布式环境中广泛...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值