Redis学习--------分片集群、散列插槽、集群伸缩、故障转移

最新推荐文章于 2024-03-30 03:01:11 发布
最新推荐文章于 2024-03-30 03:01:11 发布
阅读量642 收藏 6
点赞数
分类专栏： redis 文章标签： redis 学习 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43719634/article/details/124911627
版权

1. 分片集群搭建

	ip						port     	role
192.168.127.101				8001		master
192.168.127.101				8002		master
192.168.127.101				8003		master
192.168.127.101				9001		slave
192.168.127.101				9002		slave
192.168.127.101				9003		slave

配置文件Redis.conf

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.150.101
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log

操作指令

mkdir 8001 8002 8003 9001 9002 9003
cp redis.conf 8001/
cp redis.conf 8002/
cp redis.conf 8003/
cp redis.conf 9001/
cp redis.conf 9002/
cp redis.conf 9003/
#修改配置文件中的端口号

#启动
redis-server ./8001/redis.conf
redis-server ./8002/redis.conf
redis-server ./8003/redis.conf
redis-server ./9001/redis.conf
redis-server ./9002/redis.conf
redis-server ./9003/redis.conf\

#构建redis 集群
redis-cli --cluster create --cluster-replicas 1 192.168.127.101:8001 192.168.127.101:8002 192.168.127.101:8003 192.168.127.101:9001 192.168.127.101:9002 192.168.127.101:9003
  • redis-cli --cluster或者./redis-trib.rb：代表集群操作命令
  • create：代表是创建集群
  • –replicas 1或者–cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时节点总数 ÷ (replicas + 1) 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master

在这里插入图片描述测试：
在这里插入图片描述注意：集群操作时，需要给redis-cli加上-c参数才可以：
在这里插入图片描述

2. 散列插槽

在构建redis集群时，会生成16384（0-16383）个插槽（slot），这些插槽会被分成几部分存储在每个master节点上，每个master之间存储的slot块是不重复的。
在这里插入图片描述
当我们在集群中进行存取数据时，首先根据key中是否包含{ }，如果包含{ }，会把{}内的内容进行某种hash运算得到一个数值，然后在和16384进行取余，就会得到这个key所在的slot块。如果key中不包含{ }，就会把整个key的值进行某种hash运算得到一个数值，然后进行和16384进行取余，得到所对应的slot块。

set a 100 

get a

set num 200

get num

set {a}bc 100

get {a}bc

set {num}a 300

get {num}a

如果slot不在本台机器，redis会自动路由到对应slot块的机器上
在这里插入图片描述

3. 集群伸缩

由于分片集群中数据是和slot块进行绑定的，而不是和机器强相关的。我们只需操作slot块，就可以实现redis集群的伸缩。

# 查看集群命令
redis-cli --cluster help   

Cluster Manager Commands:
# 构建集群 cluster-replicas集群中每个主节点下的从节点个数
  create         host1:port1 ... hostN:portN
                 --cluster-replicas <arg>
  check          host:port
                 --cluster-search-multiple-owners
  info           host:port
  fix            host:port
                 --cluster-search-multiple-owners
                 --cluster-fix-with-unreachable-masters
# 移动slot块，host:port接收slot块的机器，--cluster-from + 节点id --cluster-to + 节点id   --cluster-slots + 移动slot的个数
  reshard        host:port
                 --cluster-from <arg>
                 --cluster-to <arg>
                 --cluster-slots <arg>
                 --cluster-yes
                 --cluster-timeout <arg>
                 --cluster-pipeline <arg>
                 --cluster-replace
  rebalance      host:port
                 --cluster-weight <node1=w1...nodeN=wN>
                 --cluster-use-empty-masters
                 --cluster-timeout <arg>
                 --cluster-simulate
                 --cluster-pipeline <arg>
                 --cluster-threshold <arg>
                 --cluster-replace
  # 向集群内新增节点，默认为master节点，可以设置--cluster-slave和--cluster-master-id + master节点id 设置为某个master的从节点
  add-node       new_host:new_port existing_host:existing_port
                 --cluster-slave
                 --cluster-master-id <arg>
 # 删除集群中的节点
  del-node       host:port node_id
  call           host:port command arg arg .. arg
                 --cluster-only-masters
                 --cluster-only-replicas
  set-timeout    host:port milliseconds
  import         host:port
                 --cluster-from <arg>
                 --cluster-from-user <arg>
                 --cluster-from-pass <arg>
                 --cluster-from-askpass
                 --cluster-copy
                 --cluster-replace
  backup         host:port backup_directory

练习：向搭建的集群中新增一个master节点（192.168.127.101：8004），并且把0-3000的slot块分给这个master节点

mkdir 8004 
cp redis.conf 8004/
vi 8004/redis.conf
#启动节点
redis-server 8004/redis.conf

#添加节点到集群中
redis-cli --cluster add-node 192.168.127.101:8004 192.168.127.101:8001
#查看集群节点信息
redis-cli -p 8001 cluster nodes
#节点信息
#408ea1f10e9ebf9f3a73476b2665d10f3a5b9f63 192.168.127.101:9001@19001 slave 6e87ff294285323ddd93e2efbca612293b784f52 0 1653238473477 3 connected
#d1ddf38af632537f6d39fce455bbd593d13c12ad 192.168.127.101:8004@18004 master - 0 1653238473073 7 connected 
#c3d36ae04031340b86c767998632d0fdecfc19c8 192.168.127.101:9002@19002 slave 8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d 0 1653238473980 1 connected
#abe75cb0770fca55dfc2fd5a308f9636f62ba907 192.168.127.101:8002@18002 master - 0 1653238473000 2 connected 5461-10922
#d70d692a366a93f501ff991442866529d87f380e 192.168.127.101:9003@19003 slave abe75cb0770fca55dfc2fd5a308f9636f62ba907 0 1653238473000 2 connected
#8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d 192.168.127.101:8001@18001 myself,master - 0 1653238473000 1 connected 0-5460
#6e87ff294285323ddd93e2efbca612293b784f52 192.168.127.101:8003@18003 master - 0 1653238474484 3 connected 10923-16383

#分配0-3000 slot块
redis-cli --cluster reshard 192.168.127.101:8004 --cluster-from 8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d --cluster-to d1ddf38af632537f6d39fce455bbd593d13c12ad --cluster-slots 3000 --cluster-yes


#查看集群节点信息
redis-cli -p 8001 cluster nodes

#408ea1f10e9ebf9f3a73476b2665d10f3a5b9f63 192.168.127.101:9001@19001 slave 6e87ff294285323ddd93e2efbca612293b784f52 0 1653238578316 3 connected
#d1ddf38af632537f6d39fce455bbd593d13c12ad 192.168.127.101:8004@18004 master - 0 1653238580333 7 connected 0-2999
#c3d36ae04031340b86c767998632d0fdecfc19c8 192.168.127.101:9002@19002 slave 8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d 0 1653238579324 1 connected
#abe75cb0770fca55dfc2fd5a308f9636f62ba907 192.168.127.101:8002@18002 master - 0 1653238579828 2 connected 5461-10922
#d70d692a366a93f501ff991442866529d87f380e 192.168.127.101:9003@19003 slave abe75cb0770fca55dfc2fd5a308f9636f62ba907 0 1653238580000 2 connected
#8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d 192.168.127.101:8001@18001 myself,master - 0 1653238580000 1 connected 3000-5460
#6e87ff294285323ddd93e2efbca612293b784f52 192.168.127.101:8003@18003 master - 0 1653238579000 3 connected 10923-16383

测试节点：
在这里插入图片描述

练习：把新添加的master节点删除掉

# 1. 首先把待删除节点上的slot块进行移除
redis-cli --cluster reshard 192.168.127.101:8001 --cluster-from d1ddf38af632537f6d39fce455bbd593d13c12ad  --cluster-to 8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d  --cluster-slots 3000 --cluster-yes

#查看节点信息
redis-cli -p 8001 cluster nodes

#408ea1f10e9ebf9f3a73476b2665d10f3a5b9f63 192.168.127.101:9001@19001 slave 6e87ff294285323ddd93e2efbca612293b784f52 0 1653238921020 3 connected
#d1ddf38af632537f6d39fce455bbd593d13c12ad 192.168.127.101:8004@18004 master - 0 1653238920013 7 connected
#c3d36ae04031340b86c767998632d0fdecfc19c8 192.168.127.101:9002@19002 slave 8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d 0 1653238919509 8 connected
#abe75cb0770fca55dfc2fd5a308f9636f62ba907 192.168.127.101:8002@18002 master - 0 1653238920000 2 connected 5461-10922
#d70d692a366a93f501ff991442866529d87f380e 192.168.127.101:9003@19003 slave abe75cb0770fca55dfc2fd5a308f9636f62ba907 0 1653238920517 2 connected
#8bb4c6f2de60d75837a0763aa6b3f6ee33ea349d 192.168.127.101:8001@18001 myself,master - 0 1653238918000 8 connected 0-5460
#6e87ff294285323ddd93e2efbca612293b784f52 192.168.127.101:8003@18003 master - 0 1653238920517 3 connected 10923-16383

#删除节点
redis-cli --cluster del-node 192.168.127.101:8004 d1ddf38af632537f6d39fce455bbd593d13c12ad

测试：
在这里插入图片描述

4. 故障转移

#在slave节点上执行此命令。会把slave变为 master节点
 CLUSTER FAILOVER [FORCE|TAKEOVER]
     Promote current replica node to being a master

参数说明：

  1. 缺省。默认会按照下图的顺序进行执行
  2. FORCE。会省去和ｍａｓｔｅｒ节点ｏｆｆｓｅｔ比对和同步的过程
  3. TAKEOVER。直接接管，直接成为master，向集群进行广播。
    执行流程：
    在这里插入图片描述
卷王中王
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis(设计与实现):---集群之重新分片(redis-trib软件、SETSLOT IMPORTING/MIGGATING、GETKEYSINSLOT、MIGRATE命令)
m0_46405589的博客
11-01 343
一、重新分片的概念 Redis集群的重新分片操作可以将任意数量已经指派给某个节点（源节点）的槽改为指派给另一个节点（目标节点），并且相关槽所属的键值对也会从源节点被移动到目标节点 重新分片操作可以在线（online）进行，在重新分片的过程中，集群不需要下线，并且源节点和目标节点都可以继续处理命令请求 二、redis-trib软件 Redis集群的重新分片操作是由Redis的集群管理软件redis-trib负责执行的，Redis提供了进行重新分片所需的所有命令，而redis-trib则通过向源节点和目标
Redis分布式缓存（四）| 分片集群搭建、散列插槽、集群伸缩、故障转移、与SpringBoot集成分片集群
慌途L
07-02 706
Redis分片集群 1.搭建分片集群 1.1.集群结构 1.2.准备实例和配置 1.3.启动 1.4.关闭 1.5.创建集群 1.6.创建集群报错 1.7.测试集群连接 2.散列插槽 2.1.插槽原理 2.2.插槽切换测试 2.3.小结 3.集群伸缩 3.1.向集群中添加一个节点分析 3.2.创建新的redis实例 3.3.添加新节点到redis 3.4.转移插槽 3.5.测试插槽转移 3.6.从集群中删除一个节点 4.故障转移 4.1.自动故障转移 4.2.手动故障转移 4.2.1.案例需求： .....
Redis-master节点的散列插槽
m0_54714490的博客
11-06 244
Redis会把每一个master节点映射到0-16383一共16384个插槽(hash slot)上，（假如是三个master节点，那么这16384个插槽就平均分给这三个master）数据key与这些插槽绑定起来，如何进行映射就是用到刚才说到的key的有效部分，根据CRC16算法得到这个key的hash值，用这个hash值对16384取余，得到slot值，就对应某个某个插槽。这里我们需要先了解一个概念：key的有效部分。假设一个key是{abc}def，那么这个key的有效部分就是abc。
redis集群配置（精华版）：分片集群模式
小孔靠得住的博客
03-30 1164
​ Redis 分片集群是一种用于横向扩展 Redis 数据库的方法，它将数据分散存储在多个 Redis 节点中，从而提高了系统的吞吐量和容量。在 Redis 分片集群中，数据被分割成多个片段（或分片），然后分布在不同的 Redis 节点上。
Redis集群系列七 —— 散列插槽分析
旷野历程
12-30 1027
Redis散列插槽分析
Docker下Redis集群伸缩
呆萌很的博客
09-10 409
Docker下Redis集群伸缩
redis-stack-server 7.2.0 安装包合集
最新发布
04-03
redis-stack-server-7.2.0-v9.arm64.snap redis-stack-server-7.2.0-v9.bionic.arm64.tar.gz redis-stack-server-7.2.0-v9.bionic.x86_64.tar.gz redis-stack-server-7.2.0-v9.bullseye.x86_64.tar.gz redis-stack-...
redis集群工具redis-trib.rb
08-24
搭建redis集群的工具，先试试下面的方法https://raw.githubusercontent.com/MSOpenTech/redis/3.0/src/redis-trib.rb 打开该链接如果没有下载，而是打开一个页面，那么将该页面保存为redis-trib.rb 建议保存到Redis...
redis集群脚本redis-trib
09-30
redis-trib.rb 是采用 Ruby 实现的 Redis 集群管理工具。内部通过 Cluster 相关命令帮我们简化集群创建、检查、槽迁移和均衡等常见运维操作，使用之前需要安装 Ruby 依赖环境。
resty-redis-cluster：Redis集群的Openresty lua客户端
02-03
resty-redis-cluster：Redis集群的Openresty lua客户端
docker-redis-cluster:一个 Redis 集群 Docker 镜像
05-29
docker-redis-cluster Redis 集群 Docker 映像。 此图像用于测试环境。 请勿将其用于生产。用法启动集群。 它将启动 6 个 Redis 服务器，监听7000~7005端口和一个主管以确保所有服务器都启动。 在所有服务器启动后，...
Redis集群系列十 —— 集群伸缩之收缩
旷野历程
01-01 1200
集群伸缩之收缩
Redis集群--伸缩的过程(原理)
IT利刃出鞘的博客
03-18 1326
本文介绍Redis集群（Cluster）的伸缩的流程。
redis学习笔记之十：插槽及分片
u010800970的专栏
08-08 2736
n 什么是插槽 插槽是Redis对Key进行分片的单元。在Redis的集群实现中，内置了数据自动分片机 制，集群内部会将所有的key映射到16384个插槽中，集群中的每个数据库实例负责其中部 分的插槽的读写。n 键与插槽的关系 Redis会将key的有效部分，使用CRC16算法计算出散列值，然后对16384取余数，从 而把key分配到插槽中。键名的有效部分规则是： 1：如果键名包含{}，那么有效部...
微服务框架 SpringCloud微服务架构 分布式缓存 44 Redis 分片集群 44.2 散列插槽
谢谢你们的关注
12-14 175
微服务框架 SpringCloud微服务架构 分布式缓存 44 Redis 分片集群 44.2 散列插槽
Redis-搭建分片集群
weixin_53604412的博客
12-28 199
分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个master节点，每个master包含一个slave节点，结构如下：
槽函数介绍_JavaScript中散列表(哈希表)的详细介绍（代码示例）
weixin_34873798的博客
12-25 178
本篇文章给大家带来的内容是关于JavaScript中散列表(哈希表)的详细介绍(代码示例)，有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。散列表散列表(Hash table，也叫哈希表)，是根据键(Key)而直接访问在内存存储位置的数据结构。也就是说，它通过计算一个关于键值的函数，将所需查询的数据映射到表中一个位置来访问记录，这加快了查找速度。这个映射函数称做散列函数，存放记录的数...
Redis设计与实现（六）| 集群（分片）
光看不点赞的博客
06-26 2208
clusterLink结构 1.3 CLUSTER MEET命令的实现 概述 2.槽指派 概述 2.1 记录节点的槽指派信息 概述 slots数组 总结 2.2 传播节点的槽指派信息 概述 2.3 记录集群所有槽的指派信息 概述 获取键的槽 3.2 判断槽是否由当前节点负责处理 概述 3.3 MOVED错误 概述 格式 3.4 节点数据库的实现 概述 3.4.1 槽与键的映射关系及操作 概述 添加新的键值
12-Redis分布式【高性能、高并发、高可用】
wangyongxun1983的博客
10-03 149
RedisCluster是在Redis3.0的版本正式推出的，用来解决分布式的需求，同时也可以实现高可用。 01、架构 RedisCluster可以看成是由多个Redis实例组成的数据集合。客户端不需要关注数据的子集到底存储在哪个节点，只需要关注这个集合整体。 案例： 3主3从为例，节点之间两两交互，共享数据分片、节点状态等信息 02、搭建 https://gper.club/articles/7e7e7f7ff7g5egc7g6d 03、数据分布 如果是希望数据分布相对均匀的话，我们首
redis-cli 访问redis集群
05-25
要使用 redis-cli 访问 Redis 集群，你需要在 redis-cli 命令后指定集群模式和集群的 IP 地址和端口号。命令格式如下： ``` redis-cli -c -h 地址> -p <端口号> ``` 其中，-c 参数表示要连接到 Redis 集群，-h ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值