redis cluster 集群搭建及常见操作

最新推荐文章于 2024-06-11 01:54:42 发布
最新推荐文章于 2024-06-11 01:54:42 发布
阅读量1.2k 收藏 2
点赞数 2
分类专栏： redis 文章标签： redis 负载均衡 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shaofei_huai/article/details/119493114
版权

        随着业务增长，redis中需要缓存的数据会越来越多。例如现有redis实例内存为4G，但业务增长后需要存储redis中数据为5G。对于此情况常见的两种常见解决方案就是加机器配置或者搭建集群，下面我列个表格比较下两种方案优缺点。

优点缺点
加配置快、简单

一、实例中数据越来越多，生成RDB时fork阻塞时间越来越长。

二、主从情况下：主库加配置从库也要相应的加配置

三、主库挂了，从库只能读，不能写

集群

一、数据存储在不同实例，生成RDB时fork阻塞时间短。

二、一个实例挂了，其他实例仍可对外提供服务。

一、对运维人员有一定要求，如果手动分配

二、单实例改集群需要开发人员修改代码。

redis cluster集群

        redis cluster通过哈希槽（hash slot）处理请求数据与实例间映射关关系。redis cluster16384个哈希槽，当数据请求redis时会将其key使用crc16算法得到一个16b的值，然后用这个值对16384取模，得到取模后的值根据集群搭建时的hash slot映射关系，写入不同实例。

集群搭建

        1.安装好准备好6个以上redis实例，集群搭建后为3主3从。

        2.修改redis.conf配置文件，端口分别为6379,6380,6381,6382,6383,6384。

注释该行使其他电脑可以访问
bind 127.0.0.1  

改为yes，使实例后台运行
daemonize no 

设置密码123456
requirepass 123456 

为每个实例配置不同端口
port 6379

开启集群支持
cluster-enabled yes 

用于存储集群中各节点相关信息，不可编辑，该文件默认在src目录下
cluster-config-file nodes.conf

集群节点不可用的最长时间，超过该时间进行从库故障转移
cluster-node-timeout 15000

        3.指定配置文件启动不同实例

        4.启动集群

redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384  --cluster-replicas 1 -a 123456

该命令中--cluster create 为创建集群
--cluster-replicas 1 表示1主1从
-a 123456 为实例密码
127.0.0.1 最好换成公网或局域网ip

如果以前手动分配过slot导致分布不均可以使用fix进行修复
redis-cli --cluster fix 127.0.0.1:6379 -a 123456

       5.启动后会展示哈希槽分配以及主从等信息，

Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 127.0.0.1:6383 to 127.0.0.1:6379
Adding replica 127.0.0.1:6470 to 127.0.0.1:6380
Adding replica 127.0.0.1:6382 to 127.0.0.1:6381
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: ea26de894f03e89a71f512d85268de4e8a0b0ba8 127.0.0.1:6379
   slots:[0-5460] (5461 slots) master
M: c7c0a25eda2daa442d0b804b3064930a394562e2 127.0.0.1:6380
   slots:[5461-10922] (5462 slots) master
M: 96ba659c8ff004c13313c16afb1fd4f7b5c35f70 127.0.0.1:6381
   slots:[10923-16383] (5461 slots) master
S: 66f203ed18fe4895525d03a9fe9f2b3dbfb053d9 127.0.0.1:6382
   replicates c7c0a25eda2daa442d0b804b3064930a394562e2
S: be2550dba65ecff43884bae795a1e470dceafbb6 127.0.0.1:6383
   replicates 96ba659c8ff004c13313c16afb1fd4f7b5c35f70
S: 7430e4c0f1b506e0b81ef49e68696bdca38fa0b5 127.0.0.1:6470
   replicates ea26de894f03e89a71f512d85268de4e8a0b0ba8
Can I set the above configuration? (type 'yes' to accept): yes

集群主库为6379,6380,6381，对应分配的哈希槽为0-5460，5461-10922,10923-16383,yes表示接受该方案，不接受可以手动分配哈希槽。可以先接受，假如6379这台机器配置低，6380这台机器配置高，可以进入集群更改对应哈希槽。

        6.验证集群是否搭建成功

进入redis实例
./redis-cli -c -p 6380 -a 123456

当数据key在6380的哈希槽中直接写入成功
127.0.0.1:6380> set test 1
OK

当数据key不在6380的哈希槽中，重定向到对应哈希槽所在实例写入
127.0.0.1:6380> set test1 1
-> Redirected to slot [4768] located at 127.0.0.1:6379
OK
127.0.0.1:6379>

集群常见操作

1.集群信息查看

显示集群信息
cluster info

显示集群节点相关信息
cluster nodes

计算test键应该放入哪个slot中
cluster keyslot test

查看6918的slot中键值对数量
cluster countkeysinslot 6918

取6918的slot中10条数据
cluster getkeysinslot  6918 10

2.手动分配hash slot

对于没有数据的hash slot 只需要指定要迁移的hash slot和要接受hash slot的实例id，以下命令是将6919这个hash slot迁移到1c1b63e7b0d7ebf132a6e60903365c4e3ac59080实例中，实例id可通过cluster nodes查看
cluster setslot 6919 node 1c1b63e7b0d7ebf132a6e60903365c4e3ac59080

对于已存在数据的hash slot迁移需要先迁移其数据，在数据迁移过程中如果有请求操作该hash slot内的key，redis会对其返回ack指令（只能使用一次）告诉客户端要去目标实例中查询。如果数据完全完成迁移，则会对其返回moved指令，该指令返回信息会缓存在客户端，下次可以直接去目标实例查询。
以6918 hash slot举例

1.在源实例上执行以下命令，将6918节点先进行迁移，1c1b63e7b0d7ebf132a6e60903365c4e3ac59080为目标实例id
cluster setslot 6918  migrating  1c1b63e7b0d7ebf132a6e60903365c4e3ac59080

2.在目标实例上执行，将6918节点导入，8ac7dce6414e361cf5d60285880862df7fb70f5b为原hash slot对应实例id
cluster setslot 6918 importing 8ac7dce6414e361cf5d60285880862df7fb70f5b

3.在源节点执行以下命令，查看6918 hash slot对应的key数量，取对应数量的key
cluster countkeysinslot 6918

cluster getkeysinslot 6918 100

4.将数据导入到目标实例 test为key ，0为使用的db，10为超市时间 auth对应目标实例密码
migrate 127.0.0.1 6379 test 0 10 auth 123456

5.执行hash slot迁移
cluster setslot 6918 node 1c1b63e7b0d7ebf132a6e60903365c4e3ac59080

我的cluster nodes如下
acebb98306259c0112b0df0f77ed5696450a2afa 127.0.0.1:6381@16381 master - 0 1628497834000 3 connected 10923-16383
1ff176274f6ebfc6cca32b02e9491537d3ffff7e 127.0.0.1:6383@16383 slave 1c1b63e7b0d7ebf132a6e60903365c4e3ac59080 0 1628497835282 1 connected
0d10a189a946846a7f6c93bc1c47ea9651ffa1b7 127.0.0.1:6384@16384 slave 8ac7dce6414e361cf5d60285880862df7fb70f5b 0 1628497834281 7 connected
66350304fe609d98f012b8effe8bf2168d03a37d 127.0.0.1:6382@16382 slave acebb98306259c0112b0df0f77ed5696450a2afa 0 1628497836284 3 connected
1c1b63e7b0d7ebf132a6e60903365c4e3ac59080 127.0.0.1:6379@16379 master - 0 1628497834000 1 connected 0-5460 6918-6919
8ac7dce6414e361cf5d60285880862df7fb70f5b 127.0.0.1:6380@16380 myself,master - 0 1628497833000 7 connected 5461-6917 6920-10922

3.自动分配hash slot，由系统自动分配，无法指定分配哪个hash slot

执行
redis-cli --cluster reshard  127.0.0.1:6379 -a 123456

选择分配多少hash slot
How many slots do you want to move (from 1 to 16384)? 1

接收节点id，复制粘贴要接收hash slot的 node id 
What is the receiving node ID? acebb98306259c0112b0df0f77ed5696450a2afa

选择来源，all代表所有
Source node #1: all

是否接收分配方案
Do you want to proceed with the proposed reshard plan (yes/no)? yes

4.新增主节点，准备实例端口6385，配置按照搭建集群时配置

1.将6385实例加入集群，6379为原集群中实例，端口可以随便写，只要是原集群中实例端口就行
redis-cli --cluster add-node 127.0.0.1:6385 127.0.0.1:6379 -a 123456

2.加入完后可以进入redis查看相关信息,此时6385是没有对应的hash slot的
cluster nodes

1ff176274f6ebfc6cca32b02e9491537d3ffff7e 127.0.0.1:6383@16383 slave 1c1b63e7b0d7ebf132a6e60903365c4e3ac59080 0 1628501694202 8 connected
0d10a189a946846a7f6c93bc1c47ea9651ffa1b7 127.0.0.1:6384@16384 slave 8ac7dce6414e361cf5d60285880862df7fb70f5b 0 1628501693200 7 connected
66350304fe609d98f012b8effe8bf2168d03a37d 127.0.0.1:6382@16382 slave acebb98306259c0112b0df0f77ed5696450a2afa 0 1628501692198 3 connected
baf1b5d954137edcf81e947ac76a3d7719da98fc 127.0.0.1:6385@16385 master - 0 1628501694000 0 connected
8ac7dce6414e361cf5d60285880862df7fb70f5b 127.0.0.1:6380@16380 master - 0 1628501692000 7 connected 5461-6917 6919-10922
acebb98306259c0112b0df0f77ed5696450a2afa 127.0.0.1:6381@16381 master - 0 1628501690000 3 connected 10923-16383
1c1b63e7b0d7ebf132a6e60903365c4e3ac59080 127.0.0.1:6379@16379 myself,master - 0 1628501691000 8 connected 0-5460 6918

3.此时可以按手动分配hash slot或者自动分配hash slot的方法对新实例分配hash slot

5.新增从节点，准备实例端口6386，配置按照搭建集群时配置

1.将6386实例加入集群，加入集群的节点默认为主节点，可通过cluster nodes查看
redis-cli --cluster add-node 127.0.0.1:6386 127.0.0.1:6379 -a 123456

2.进入实例
redis-cli  -a 123456 -c -p 6386

3.查看node id
cluster nodes

4.建立主从关系
cluster replicate baf1b5d954137edcf81e947ac76a3d7719da98fc

6.删除节点

删除从节点6386，d4c9d7842bd11782f61d88422aa08623c3b7d6e3为6386 node id
redis-cli --cluster del-node 127.0.0.1:6386 d4c9d7842bd11782f61d88422aa08623c3b7d6e3  -a 123456


删除主节点6385
1.先移除对应hash slot，参考自动分配hash slot，将source nodes 改为6385对应node id，以done表示结尾

2.删除主节点
redis-cli --cluster del-node 127.0.0.1:6385 baf1b5d954137edcf81e947ac76a3d7719da98fc-a 123456

        大致就这些吧，其他可以参考Redis Cluster tutorial，Redis Cluster specification

shaofei_huai
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis——Redis Cluster集群原理
庄小焱
03-14 4548
摘要 我们平时习惯于使用 Rabbitmq 和 Kafka 作为消息队列中间件，来给应用程序之间增加异步消息传递功能。这两个中间件都是专业的消息队列中间件，特性之多超出了大多数人的理解能力。使用过 Rabbitmq 的同学知道它使用起来有多复杂，发消息之前要创建 Exchange，再创建 Queue，还要将 Queue 和 Exchange 通过某种规则绑定起来，发消息的时候要指定 routingkey，还要控制头部信息。消费者在消费消息之前也要进行上面一系列的繁琐过程。但是绝大多数情况下，虽然我们的消息
Redis Cluster集群模式的原理与搭建
Jack章臣的博客
02-15 1044
Redis 3.0之后，redis节点之间通过去中心化的方式，提供了完整的sharding分片、replication主从复制（复制机制仍使用原有机制，并且具备感知主备的能力）、failover故障容错的解决方案，该方案称为Redis Cluster。即：将proxy代理/sentinel哨兵的工作融合到了普通Redis节点里，下面将介绍Redis Cluster这种模式下，水平...
Redis Cluster - 外网访问redis集群 - create-cluster脚本
`!_`5 81_09
10-09 742
Version redis 6.0.6 Shell script cd /redis-6.0.6/utils/create-cluster vi create-cluster #!/bin/bash # Settings BIN_PATH="../../src/" #CLUSTER_HOST=127.0.0.1 CLUSTER_HOST=YOUR_REMOTE_IP PORT=30000 TIMEOUT=2000 NODES=6 REPLICAS=1 #PROTECTED_MODE=yes PROTE
redis实战第七篇 使用redis工具（redis-cli）搭建redis cluster
超人不会飞
02-14 8551
上一篇有介绍手动安装redis cluster传送门，很明显，手动创建redis cluster的过程比较繁杂，容易出错，因此redis官方开发了一个工具，可以快速搭建redis cluster。在5.0之前该工具是由ruby语言编写的redis-trib.rb，在使用前需要安装ruby语言环境。在5.0之后redis摒弃了该工具，将搭建集群的功能合并到了redis-cli上，进一步简化了搭建re...
【NoSQL数据库】Redis Cluster集群（含redis集群扩容脚本）
最新发布
翡翠泪滴的博客
06-11 1405
所以我们同样也有对 Redis 数据分片的需求，所谓分片就是把一份大数据拆分成多份小数据，在 3.0 之前，我们只能通过构建多个 redis 主从节点集群，把不同业务数据拆分到不冉的集群中，这种方式在业务层需要有大量的代码来完成数据分片、路由等工作，导致维护成本高、增加、移除节点比较繁琐。比如平时非活动期间访问量不会很大，使用三主三从就可以，618、双十一期间，大促活动时候，这种访问量很高的，这个时候，就需要我们对Redis集群进行扩容了，当活动过后，流量下来会，我们又要进行缩容。
虚拟机redis-cli搭建redis集群
weixin_42493834的博客
08-11 886
1、安装Redis（不赘述，网上教程很多） 2、暂时关闭防火墙 暂时关闭防火墙命令：systemctl stop firewalld 启动防火墙命令：systemctl start firewalld 查看防火墙状态：systemctl status firewalld 3、新建redisCluster目录，用于存放集群节点 我的跟redis目录放一起 在RedisCluster目录下，新建6个文件夹 将redis目录下的 redis.conf文件分别往这6个目录中复制一份，然后对每个目录中的redis.
redis集群的维护（redis-cli --cluster 命令用法）
cj_eryue的博客
09-12 4503
1、 --cluster create 创建集群 2、--cluster check检查集群 3、--cluster info 查看集群 4、--cluster fix 修复集群 5、--cluster rehard 迁移槽位 6、 --cluster rebalance 平衡集群 7、 --clusteradd-node 集群扩容 8、--cluster del-node 集群缩容 9、 --cluster call 在集群中执行命令 10、--cluste
Redis系列之Cluster集群搭建
Nicky's blog
04-20 984
在上一篇博客，我们学习Redis哨兵Sentinel集群的搭建，redis的哨兵模式提供了比如监控、自动故障转移等高可用方案，但是这种方案，容量相对固定，要进行持续扩容或者数据分片就不适合，所以有另外一种更复杂的集群方案，Cluster集群模式
Redis Cluster集群部署搭建详解附件
12-08
本文将详细解析如何搭建Redis Cluster集群，包括集群的基本概念、配置、节点间通信以及常见问题处理。 一、Redis Cluster基础概念 1. 节点：每个运行Redis服务的实例称为一个节点，至少需要3个节点才能创建一个基本...
Redis Cluster集群节点间通信
客留时空的博客
06-23 1586
转载请声明出处哦~，本篇文章发布于fushengwushi的博客：https://www.fushengwushi.com/archives/1646 Redis 的集群节点之间的通信采取 gossip 协议进行通信，在 redis cluster 架构下，每个 redis 要放开两个端口号，比如一个是 6379，另外一个就是 加10000 的端口号，比如 16379，16379 端口号是用来进行节点间通信的。 Gossip协议 Gossip protocol 也叫 Epidemic Prot...
redis主从集群搭建及容灾部署(哨兵sentinel).pdf
11-23
Redis 主从集群搭建及容灾部署（哨兵 Sentinel） 本文档将详细介绍 Redis 主从集群的搭建和容灾部署，使用哨兵（Sentinel）来实现高可用性和自动故障转移。 知识点1：Redis 安装 在开始搭建 Redis 主从集群之前，...
Redis Cluster集群搭建
qq_36331657的博客
06-13 346
1.搭建 1. 在/usr/local/redis-5.0.5/目录创建目录cluster，然后在它下面创建7001至7006六个文件夹； 2. 在六个文件夹下新建redis.conf文件，内容如下： port 7001 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes daemonize yes protected-mode no 端口分别是7001、7002、7003、
redis cluster搭建
yyj12138的博客
04-27 2611
redis集群搭建方案，redis cluster搭建步骤
redis cluster源码研究--create cluster
whycold的专栏
01-31 1969
create cluster是指创建或搭建redis集群。      这里以搭建六个节点的redis集群（redis cluster最少节点为六个节点）为例进行分析。 一、创建步骤： （1）节点配置需打开cluster配置项，最小关注配置为如下： port 7000 cluster-enabled yes cluster-config-file nodes.conf
Redis集群搭建
qq_38515961的博客
10-15 1796
文章目录一、Redis集群概述二、快速搭建集群三、自定义搭建集群四、集群散列标签五、打开关闭从节点的读命令权限六、使用redis-cli管理集群 一、Redis集群概述 集群即由多个服务器组成的一群服务器，在Redis集群中，各个Redis服务器被称为节点，其中主节点负责处理客户端发送的读写命令请求，而从节点负责对主节点进行数据复制。 除了主从复制功能之外，Redis集群中的各个节点会互相监视各自的运行状况，并在某个主节点下线时，通过提升该节点的从节点为新的主节点来继续提供服务。 Redis集群将整个数据
redis集群搭建
睡竹的博客
04-05 2169
redis集群搭建 cluster-require-full-coverage
redis-cli --cluster 说明
u012693823的博客
07-23 6549
说明 Redis Cluster 在5.0之后取消了ruby脚本redis-trib.rb的支持（手动命令行添加集群的方式不变），集合到redis-cli里，避免了再安装ruby的相关环境。 直接使用redis-clit的参数--cluster来取代。为方便后面查询就说明下如何使用该命令进行Cluster的创建和管理 redis-cli --cluster help redis-cli--cluster help Cluster Manager Commands: ...
Redis集群之Cluster集群
clyu的博客
03-28 3990
一、简介 1.1 什么是 Redis 集群 Redis 集群是一个分布式（distributed）、容错（fault-tolerant）的 Redis 实现， 集群可以使用的功能是普通单机 Redis 所能使用的功能的一个子集（subset）。 Redis 集群中不存在中心（central）节点或者代理（proxy）节点， 集群的其中一个主要设计目标是达到线性可扩展性（linear scalability）。 Redis 集群为了保证一致性（consistency）而牺牲了一部分容错性： 系统会在保证对网络
redis源码之：redis-cli 集群命令
qq_22351805的博客
01-31 582
在集群命令执行前，需要先按上一章节的方式，启动四个新的redis节点，但不要执行cluster create命令，保持四个节点独立。redis-cli的命令执行大抵流程差不多，下面以。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值