Redis Cluster 扩容实战

最新推荐文章于 2024-01-27 20:08:51 发布
最新推荐文章于 2024-01-27 20:08:51 发布
阅读量399 收藏 5
点赞数 4
分类专栏： Redis 文章标签： Cluster 扩容 Redis Cluster Cluster增加节点 Cluster 删除节点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013433591/article/details/128273470
版权

Redis Cluster 扩容

接着上一篇Redis Cluster 单机集群部署，今天学习下Redis Cluster 架构在实际应用中如何面对各种复杂的场景，如：

  • 扩容 - 增加节点
  • 缩减 - 删除节点
  • 宕机 - 主节点服务异常

增加节点

随着集群需求的变化，系统人员可能需要通过修改Redis Cluster中shard的数量来提高性能，或者降低成本，由此产生Redis Cluster 集群扩展的需求。 对Redis Cluster 集群进行缩减、扩容的条件包含：

  • 内存压力 - 集群节点内存占用过高 需要更多的资源来存储数据
  • CPU瓶颈 - 单机CPU负载过高 请求处理延迟 需要新增节点 分散CPU 计算瓶颈
  • 网络瓶颈 - 大并发场景 网络带宽存在上限限制 需要新增节点 分散网络流量瓶颈
  • 集群规模过大 - 需要缩小进群规模 以降低服务器成本

Redis Cluster 支持两种方式对集群进行扩展

  • 横向扩展 - 水平横向扩展允许通过添加、删除节点数量，对数据进行重新分配
  • 纵向扩展 - 通过增加主节点的副本数 达到高可用的架构设计目标

横向扩展 - 增加节点

在之前已经搭建好的三主三从的的Cluster 架构中新增一个主节点 node_6006.

# 127.0.0.1:6006 表示新加入的节点
# 127.0.0.1:6000 表示当前存在的主节点
redis-cli --cluster add-node 127.0.0.1:6006 127.0.0.1:6000

集群信息

# 使用命令查看集群状态 确认节点已经加入进来
redis-cli -p 6000 cluster nodes

在这里插入图片描述

纵向扩展 - 增加副本

启动6007节点，将他加入集群中，并作为6007的从节点，同步数据

redis-cli --cluster add-node 127.0.0.1:6007 127.0.0.1:6000 --cluster-slave --cluster-master-id 3785af3f1f395e28a66a06e9c73305cbde59f1ba

在这里插入图片描述

已经在集群的基础上正确的添加了2个节点，一主一从。此时整个Redis Cluster 集群共有8个节点，四主四从。但是从上图红线处可知，新增的6006主节点并没有分配Hash槽，也就是实际上它并不能分担整个集群的数据存储功能。

# 使用一下命令 查看Cluster 集群 slot信息
redis-cli -p 6000 cluster slots

在这里插入图片描述

从slot的信息中也看出来6006节点并没有体现，也进一步验证了之前的判断。

数据分配

在对集群数据进行重新分配之前，需要思考以下问题：

  • 新节点分配多少数据 - 目前有4个节点，Redis Cluster总共有16384个hash槽，简单粗暴的进行过平均计算，那么每个节点有4096个hash槽。

  • 数据往哪里分发 - Redis Cluster 集群需要知道节点具体的节点ID 来接收4096个hash 槽数据

    # 通过命令获取 新增节点的ID
redis-cli -p 6006 cluster myid
# 3785af3f1f395e28a66a06e9c73305cbde59f1ba

可以使用reshard命令对数据进行重新分配

# reshard 后面 可以接集群中的任意节点
redis-cli  -p 6000  --cluster reshard 127.0.0.1:6000

img

此时输入之前计算的数值 4096

在这里插入图片描述

接下来输入Node ID信息 3785af3f1f395e28a66a06e9c73305cbde59f1ba

在这里插入图片描述

数据从all节点进行分配，输入 all

在这里插入图片描述

如上 可以从日志看出数据分配的过程. 但是整个分配过程 是将16384个hash槽重新分配个已有的节点，相当于整个数据库的迁移工作，数据量大的情况下，可能会非常耗时，在生产环境中需要慎用

验证测试

# 重新输入命令 查看slot分配结果
redis-cli -p 6000 cluster slots

127.0.0.1:6001> set x2 world
-> Redirected to slot [6113] located at 127.0.0.1:6006

127.0.0.1:6001> get x2
-> Redirected to slot [6113] located at 127.0.0.1:6006
"world"

设置的key 已经被分配到新的6006节点上了。

删除节点

Redis Cluster 集群删除节点要求该节点的数据必须为空，否则不允许删除。

[ERR] Node 127.0.0.1:6006 is not empty! Reshard data away and try again.

因此，在删除节点之前必须转移数据，将待删除节点的数据迁移到其他节点中去

数据迁移

数据迁移的过程，其实也是reshard，只不过只需要指定特定的节点进行 数据转移，跟新增节点的数据分配过程差不多

# 输入reshard命令
redis-cli -p 6006 --cluster reshard 127.0.0.1:6006

在这里插入图片描述

数据转移到6001节点上去，接下来指定待删除的节点ID - 6006，可以指定多个来源，输入done结束

Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1: f39bed78c36a901e703072df16b857f96939db2d
Source node #2: done

删除节点

redis-cli --cluster del-node 127.0.0.1:6000 f39bed78c36a901e703072df16b857f96939db2d

AndydeMacBook-Pro:node_6007 andy$ redis-cli --cluster del-node 127.0.0.1:6000 f39bed78c36a901e703072df16b857f96939db2d
>>> Removing node f39bed78c36a901e703072df16b857f96939db2d from cluster 127.0.0.1:6000
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.

验证测试

节点的验证工作主要包含两方面：

  • 节点的Key是否还存在

    AndydeMacBook-Pro:node_6007 andy$ redis-cli -c -p 6000
127.0.0.1:6000> get x2
-> Redirected to slot [6113] located at 127.0.0.1:6001
"world"
# 之前在6006节点设置的 x2 被成功的迁移到6001端口

  • 查看集群状态

    # 主节点删除后，6007从节点自动变成 1e160d4caa2f13ff7f9297861dc7303f9636f4a0 的副本,1e160d4caa2f13ff7f9297861dc7303f9636f4a0 为6001节点的Node id
AndydeMacBook-Pro:node_6007 andy$ redis-cli --cluster check 127.0.0.1:6000
127.0.0.1:6000 (41f2d826...) -> 1 keys | 4096 slots | 1 slaves.
127.0.0.1:6001 (1e160d4c...) -> 2 keys | 8192 slots | 2 slaves.
127.0.0.1:6002 (b3065915...) -> 0 keys | 4096 slots | 1 slaves.

节点宕机

为了触发故障转移，验证Redis Cluster架构下的主从切换。我们可以把主节点的进程杀死，看从节点是否能正常切换。其次当节点重启后看其是否能正常加入集群。

数据现场

在这里插入图片描述

如上图，6003节点有2个从节点，分别为6000、6007

# x3 的 键值对 也存储在6003 节点上
AndydeMacBook-Pro:node_6007 andy$ redis-cli -c -p 6001
127.0.0.1:6001> get x3
-> Redirected to slot [1984] located at 127.0.0.1:6003
"world"

节点异常

# 人工杀掉 6003节点的进程ID
AndydeMacBook-Pro:redis-5.0.5 andy$ ps -ef | grep redis | grep 6003
  501  6994     1   0 10:29上午 ??         0:24.31 redis-server *:6003 [cluster] 
AndydeMacBook-Pro:redis-5.0.5 andy$ kill -9 6994

验证检查

在这里插入图片描述

从上图看出6007节点升级为主节点，6000节点未副本节点。

# x3 数据也正常从6007节点查询
AndydeMacBook-Pro:node_6007 andy$ redis-cli -c -p 6001
127.0.0.1:6001> get x3
-> Redirected to slot [1984] located at 127.0.0.1:6007
"world"

重启6003Redis服务, 正常加入到Redis Cluster 集群

在这里插入图片描述

u013433591
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
codis/redis 迁移redis cluster工具
08-18
支持codis迁移数据到redis 支持codis迁移数据到redis cluster 支持redis迁移数据到redis 支持redis迁移数据到codis 支持增量同步数据
Redis Cluster集群扩容主从节点详细教程
江晓龙的博客
11-15 6664
文章目录1.Cluster集群扩容概念2.在新节点部署redis cluster3.使用工具将redis-4加入集群3.1.安装ruby环境3.2.将redis-4加入集群4.将槽位重新分配4.1.所有节点分出槽位给新节点4.2.迁移指定节点的槽位给新节点4.3.查看集群信息及状态5.配置四主四从交叉复制5.1.配置四主四从交叉复制5.2.查看集群信息及状态 1.Cluster集群扩容概念 当redis数据量日渐增长，当内存不够用的时候，这时候就需要集群扩容了，cluster集群扩容可以增加内存也可以增加节
Redis Cluster 集群扩容 & 缩容步骤
扛麻袋的少年的博客
12-27 4313
redis 扩容、缩容、节点平衡
Redis-海量存储高并发问题4：RedisCluster搭建和扩容（伪集群：4主4从）
chuanchengdabing的博客
10-23 1059
RedisCluster的安装、部署、扩容和Java客户端调用（伪集群） 如图： 功能： （1）搭建Redis5.0集群，要求三主三从 （2）能够添加一主一从（Master4和Slaver4） （3）能够通过JedisCluster向RedisCluster添加数据和取出数据 一、搭建 1.1 配置 并启动config 节点集群 节点名称 配置文件 Master1 ：192.168.80.77：155555 配置文件：config-15555.conf Master2 ：192.16
RedisCluster集群扩容与缩容
记录各种Bug解决案例及日常学习内容
05-03 1021
目录一、传统Redis集群存在那些问题二、传统RedisCluster集群的原理三、RedisCluster集群模式环境搭建四、RedisCluster集群模式扩容节点五、RedisCluster集群模式缩容节点 一、传统Redis集群存在那些问题 Redis哨兵集群模式，每个节点都保存全量同步数据，冗余的数据比较多；而在Redis Cluster模式中集群中采用分片集群模式，可以减少冗余数据，缺点就是构建该集群模式成本非常高， 二、传统RedisCluster集群的原理 Redis3.0开始官方推出了集群
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
redis-cluster-operator 概述 Redis Cluster Operator在Kubernetes上管理 。 操作员本身是用。 每个主节点及其从节点都由statefulSet管理，为每个statefulSet创建一个无头svc，并为所有节点创建clusterIP服务。 ...
redis_cluster实战栗子.rar
05-14
Redis集群搭建实战,包括html版和PDF版本的教程及可直接启动的例子,从搭建到常见指令的应用以及一些常见文件的解决和处理,结论小结等.
redisCluster.zip
09-25
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/...
Redis Cluster的扩容和缩容
大数据
05-11 1207
在redis-5中redis-trib.rb的功能被集成到了redis-cli中，大大简化了redis的集群部署，加快了进群部署的速度，也方便后期维护与扩容。 以下简要介绍一下redis-cli在集群中的操作： 环境：Ubuntu 18.04.2 LTS redis版本：redis-5.0.5 集群架构：3master+3slave（后期添加1master+1slave） 创建集群： 1、新建所需目录，创建配置文件，启动6个redis实例进程（配置参数尽量保持一致）。在这里原始集群端口号为637
redis集群扩容
yzx3105的博客
05-04 939
在电商项目双11期间，通常有更多的并发，对redis的请求压力激增，需要更多的redis对外提供服务，但是过了双11，redis压力骤降，为了节省成本，需要撤出部分redis服务！我们可以通过增加和删除redis集群节点来实现redis集群的动态扩容、缩容，增加redis集群的高可用性。原始集群(见下图)由6个节点组成，6个节点分布在三台机器上（本案例仅在一台机器演示！），采用三主三从的模式。
redis cluster集群搭建及扩容
零一的博客
07-19 355
阿里云Centos7.4redis5.05端口号分别为：7001~7006RedisCluster最少需要三台主服务器，三台从服务器。
动态增加/删除 redis-cluster集群主从节点
sqliu301190的博客
06-09 566
1、使用trib的check命令检查当前集群节点状态 $ redis-trib.rb check 192.169.0.175:700 2、新增两个节点。注意，新增节点最好为偶数个，保持节点为奇数，选择时不会出现平票现象 #拷贝四个配置文件，增加两个主节点和两个从节点 cd /usr/local/redis-4.0.14 cp redis.conf /usr/local/redis-4.0.14/redis_cluster/7006 cp redis.conf /usr/local/redis-4.0.
RedisCluster集群扩容
最新发布
qq_32486597的博客
01-27 873
整个集群运行正常，三个master节点和三个slave节点，8001端口的实例节点存储0-5460这些hash槽，8002端口的实例节点存储5461-10922这些hash槽，8003端口的实例节点存储10923-16383这些hash槽，这三个master节点存储的所有hash槽组成redis集群的存储槽位，slave点是每个主节点的备份从节点，不显示存储槽位！的add-node命令新增一个主节点8007(master)，前面的ip:port为新增节点，后面的ip:port为集群中已存在的节点。
Redis cluster集群扩容缩容原理
hellozhxy的博客
10-19 1543
1. Redis Cluster集群扩容 1.1 扩容原理 redis cluster可以实现对节点的灵活上下线控制 3个主节点分别维护自己负责的槽和对应的数据，如果希望加入一个节点实现扩容，就需要把一部分槽和数据迁移和新节点 每个master把一部分槽和数据迁移到新的节点node04 1.2 扩容过程 准备新节点 准备两个配置文件redis_6379.conf和redis_6380.conf daemonize yes port 6379
Redis集群--扩容的过程(原理)
IT利刃出鞘的博客
02-07 3860
本文介绍Redis的Cluster集群扩容的过程(原理)。
redis cluster集群节点的扩缩容、重新分配槽位
qq_44027353的博客
03-23 1952
至此，我们已经成功的把8007主节点的数据迁移到8001上去了，我们可以看一下现在的集群状态如下图，你会发现8007下面已经没有任何hash槽了，证明迁移成功！主节点的里面是有分配了hash槽的，所以我们这里必须先把8007里的hash槽放入到其他的可用主节点中去，然后再进行移除节点操作，不然会出现数据丢失问题。(ps:输入all为从所有主节点(8001,8002,8003)中分别抽取相应的槽数指定到新节点中，抽取的总槽数为600个)(ps:需要多少个槽移动到新的节点上，自己设置，比如600个hash槽)
Redis cluster 扩容
lixiaolinzq的博客
05-21 670
Redis cluster扩容的方法 redis cluster的主从默认只有主支持读和写，从库默认只是 一个热备，不负责任何的读写请求，只是在主库挂掉之后，会被选举成为主库，然后承担主库的责任； 所以，cluster的扩容是先创建一个主库，然后把槽再次平分，接着做数据迁移，当数据迁移完成后，再创建一个从库，把新主库的数据同步一份过去即可。 具体操作如下： 1.创建新主库，并且启动 2.重新计算slot，slot重分 ...
rediscluster扩容
12-16
Redis Cluster扩容可以通过增加节点或增加内存来实现。具体步骤如下： 1. 增加节点 - 准备新节点，确保新节点的Redis版本与集群中的其他节点版本相同。 - 在新节点上配置redis.conf文件，将端口号设置为集群中未...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值