redis分布式存储集群详细用法

最新推荐文章于 2024-05-09 09:48:11 发布
最新推荐文章于 2024-05-09 09:48:11 发布
阅读量1.6k 收藏 4
点赞数
分类专栏： redis 文章标签： redis 运维 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shm19990131/article/details/105168944
版权

redis-cluster集群

一、Redis集群概念

Redis集群TCP端口

每个Redis群集节点都需要打开两个TCP连接。
用于服务客户端的常规Redis TCP端口，例如6379，
再加上在数据端口上加上10000所获得的端口，集群节点通信端口

redis分布式集群存储

使用多台redis节点组合在一起，形成一个集群，便于更好的存储。
redis的集群一般为三个主节点，三个从节点，从节点充当备份。

  • 节点A包含从0到5500的哈希槽。
  • 节点B包含从5501到11000的哈希槽。
  • 节点C包含从11001到16383的哈希槽。

s集群的原理：（数据分片）

1.redis通过hash槽点来进行分配数据，总共有（0~16383）16384个槽点。
2.将这些槽点平均的分配到每台主节点上，只有有槽点的主节点才会进行工作。
3.主节点上有槽点，从节点上没有槽点。
4.当主节点宕机，那么槽点会进行迁移，迁移到从节点上，从节点变为主节点。
5.宕机得主节点修复后，恢复集群状态为从节点。

这样可以轻松添加和删除集群中的节点。
例如，如果我想添加一个新节点D，则需要将一些哈希槽从节点A，B，C移到D。类似地，如果我想从集群中删除节点A，则只需移动A所服务的哈希槽到B和C。当节点A为空时，我可以将其从群集中完全删除。

因为将哈希槽从一个节点移动到另一个节点不需要停止操作，所以添加和删除节点或更改节点持有的哈希槽的百分比不需要任何停机时间。

redis Cluster主从模型

为了保证主节点出现故障或者无法与大多数节点通信时保持可用，产生了redis Cluster主从模型，其中每个哈希槽具有 1个主节点 + N个从节点

在具有节点A，B，C的示例集群中，如果节点B失败，则集群将无法继续，因为我们不再有办法为5501-11000范围内的哈希槽提供服务。

但是，在创建集群（或稍后）时，我们向每个主节点添加一个从属节点，以便最终集群由作为主节点的A，B，C和作为从属节点的A1，B1，C1组成，如果节点B发生故障，系统将能够继续。

节点B1复制B，并且B失败，群集将把节点B1提升为新的主节点，并将继续正常运行。

但是请注意，如果节点B和B1同时失败，则Redis Cluster无法继续运行。

redis集群缓存流程
client — redis集群 ---- mysql数据库

客户端请求缓存发送到redis集群，如果集群中存有数据则直接进行反馈。
如果redis集群种没有数据，则会到mysql数据库中进行查找，回应。
数据库回应的同时会将数据放在redis中进行缓存。

二、Redis Cluster部署 3主3从集群

注意：每台主机的从节点不要与主节点放在同一台主机上，防止意外发生。交叉数据分片存放。

在这里插入图片描述

主机1：192.168.10.3
主机2：192.168.10.4

1、Redis集群配置参数

/usr/local/redis.conf

https://redis.io/topics/cluster-tutorial redis官方cluster文档

protected-mode yes
port 7000
appendonly yes		#开启持久化
appendfilename "appendonly-7000.aof"	#持久化日志文件
cluster-enabled yes	#开启集群功能
cluster-config-file nodes-7000.conf	#集群节点的配置文件
cluster-node-timeout 5000		#节点连接超时时间
#cluster-slave-validity-factor<factor>
#cluster-migration-barrier<count>
#cluster-require-full-coverage<yes/no>
#cluster-allow-reads-when-down<yes/no>

三、创建集群

安装redis

[root@localhost ~]# tar -zxvf redis-5.0.5tar.gz -C /usr/src/
[root@localhost ~]# mv /usr/src/redis-5.0.5/ /usr/local/redis
[root@localhost ~]# cd /usr/local/redis
[root@localhost ~]# make && make install

主机1，创建多实例

#保留6379.redis的主目录，创建一个新的集群目录

[root@localhost ~]# mkdir /usr/local/cluster
[root@localhost cluster]# mkdir {7000..7003}

[root@localhost cluster]# cp /usr/local/redis/redis.conf   7000/redis.conf
[root@localhost cluster]# cp /usr/local/redis/redis.conf   7001/redis.conf
[root@localhost cluster]# cp /usr/local/redis/redis.conf   7002/redis.conf

#修改配置文件内容，开启redis三个实例
[root@localhost cluster]# cat 7000/redis.conf  | grep 7000
port 7000
pidfile /var/run/redis_7000.pid
appendfilename "appendonly-7000.aof"
cluster-config-file nodes-7000.conf

[root@localhost cluster]# redis-server 7000/redis.conf 
[root@localhost cluster]# redis-server 7001/redis.conf 
[root@localhost cluster]# redis-server 7002/redis.conf

#验证是否开启了redis三个实例
[root@localhost cluster]# netstat -anpt | grep redis | awk '{print$4,$7}'
192.168.10.3:7000 14846/redis-server
192.168.10.3:7001 14851/redis-server
192.168.10.3:7002 14856/redis-server
192.168.10.3:17000 14846/redis-server
192.168.10.3:17001 14851/redis-server
192.168.10.3:17002 14856/redis-server

主机2，创建多实例

#保留6379.redis的主目录，创建一个新的集群目录

[root@localhost ~]# mkdir /usr/local/cluster
[root@localhost cluster]# mkdir {7000..7003}

[root@localhost cluster]# cp /usr/local/redis/redis.conf   7000/redis.conf
[root@localhost cluster]# cp /usr/local/redis/redis.conf   7001/redis.conf
[root@localhost cluster]# cp /usr/local/redis/redis.conf   7002/redis.conf

#修改配置文件内容，开启redis三个实例
[root@localhost cluster]# cat 7000/redis.conf  | grep 7000
port 7000
pidfile /var/run/redis_7000.pid
appendfilename "appendonly-7000.aof"
cluster-config-file nodes-7000.conf

[root@localhost cluster]# redis-server 7000/redis.conf 
[root@localhost cluster]# redis-server 7001/redis.conf 
[root@localhost cluster]# redis-server 7002/redis.conf

#验证是否开启了redis三个实例
[root@localhost cluster]# netstat -anpt | grep redis | awk '{print$4,$7}'
192.168.10.4:7000 14885/redis-server
192.168.10.4:7001 14890/redis-server
192.168.10.4:7002 14895/redis-server
192.168.10.4:17000 14885/redis-server
192.168.10.4:17001 14890/redis-server
192.168.10.4:17002 14895/redis-server

1、create 创建redis集群主节点

[root@Localhost ~]# redis-cli --cluster create
192.168.10.3:7000
192.168.10.3:7001
192.168.10.3:7002 \

>>> Performing hash slots allocation on 3 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
M: 7ce7fc34556871ddfbe7aad3b9ad2f858fbfb66f 192.168.10.3:7000
   slots:[0-5460] (5461 slots) master
M: 5b25aea28c7a2a9a3cf2d16fd08a22af6395931c 192.168.10.3:7001
   slots:[5461-10922] (5462 slots) master
M: 26223cc3f91bf4bb83af8a13a500af46134df553 192.168.10.3:7002
   slots:[10923-16383] (5461 slots) master
Can I set the above configuration? (type 'yes' to accept): yes
#确定创建集群。

2、check info 查看集群详细信息

[root@localhost cluster]# redis-cli --cluster check 192.168.10.3:7000

[root@localhost cluster]# redis-cli --cluster info 192.168.10.3:7000

[root@localhost cluster]# redis-cli -h 192.168.10.3 -p 7000 cluster nodes

3、add-node ，添加一个新的节点

1.添加一个空的主节点

[root@localhost cluster]# redis-cli --cluster add-node 192.168.10.4:7000 192.168.10.3:7000

[root@localhost cluster]# redis-cli --cluster add-node 192.168.10.4:7000 192.168.10.3:7000

在这里插入图片描述

2.添加一个空的从节点到主节点

格式：

redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000 --cluster-slave --cluster-master-id 3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e

[root@localhost cluster]# redis-cli --cluster add-node 192.168.10.4:7001 192.168.10.3:7001 \ --cluster-slave --cluster-master-id 5b25aea28c7a2a9a3cf2d16fd08a22af6395931c

在这里插入图片描述

4、del-node 删除一个节点

1.删除主节点

#删除添加的空的“主节点”

格式: redis-cli --cluster del-node 127.0.0.1:7000

[root@localhost cluster]# redis-cli --cluster del-node 192.168.10.4:7000 89dff642bc5d71425dca46bf5958e252f1097afb
在这里插入图片描述

但其实并没有真正的删除干净，因为在从服务器上，node-7000的配置文件依旧存在

在这里插入图片描述

#彻底删除清空一个空的主节点，模拟其故障转移，让主节点崩溃

[root@localhost cluster]# redis-cli -h 192.168.10.4 -p 7000 debug segfault
Could not connect to Redis at 192.168.10.4:7002: Connection refused

此时才是真正将空的主节点删除干净。

2.删除从节点

格式：

redis-cli --cluster del-node 127.0.0.1:7000 <node-id>

[root@localhost cluster]# redis-cli --cluster del-node 192.168.10.4:7002 1d2eb07e2a70b892a4f177c821d0808b9a4b925f

5、reshard 重新分片，分槽

只需要指定集群中其中一个节点的地址， redis-trib 就会自动找到集群中的其他节点

格式：

redis-cli --cluster reshard

[root@localhost cluster]# redis-cli --cluster reshard 192.168.10.3:7000

#你想移动多少个槽( 从1 到 16384)?
How many slots do you want to move (from 1 to 16384)? "4096"

#输入想要重新分片的目标节点
What is the receiving node ID? "4c23a004a399da0bd72178dcb18dda70b4405db1"

#指定从哪些节点来移动keys到目标节点,如果是all会从其他每个master节点取出一些哈希槽进行分配
Source node #1: "all"

#确实是否要重新进行分片
Do you want to proceed with the proposed reshard plan (yes/no)? "yes"

#查看重新分槽后的集群信息

[root@localhost cluster]# redis-cli --cluster check 192.168.10.3:7000
M: 4c23a004a399da0bd72178dcb18dda70b4405db1 192.168.10.4:7002
slots:[0-1706],[5461-7167],[10923-12628] (5120 slots) master

6、将外部redis实例中的数据导入集群中去

格式:

redis-cli --cluster import 集群内部实例:port  --cluster-from 外部实例:port \
cluster-copy

[root@localhost ~]# redis-cli --cluster import 192.168.10.3:7000
–cluster-from 192.168.10.3:6379 --cluster-copy

cluster-from后面跟外部redis的ip和port
在这里插入图片描述
在这里插入图片描述

7、debug segfault 节点崩溃

一般做测试故障转移使用
格式：redis-cli -p 7000 -h 127.0.0.1 debug segfault

四、redis-cli 集群命令

redis-cli 命令
-p  指定redis放行端口
-h	指定redis放行主机
-c  以集群模式运行

--cluster：指定集群
--cluster create：创建集群
--cluster check <ip:port>：查看集群详细信息
--cluster info <ip:port>：查看集群详细信息(主节点信息)

--cluster add-node：添加节点(默认为空的主节点)
--cluster-slave：添加从节点
--cluster-master-id：添加从节点并指定主节点的UUID码

--cluster del-node：删除节点(只有从节点和空的主节点可以删除)

--cluster reshard：重新分片

import：集群内部实例
--cluster-from：外部实例
--cluster-copy：进行键值对拷贝
ster：指定集群
--cluster create：创建集群
--cluster check <ip:port>：查看集群详细信息
--cluster info <ip:port>：查看集群详细信息(主节点信息)

--cluster add-node：添加节点(默认为空的主节点)
--cluster-slave：添加从节点
--cluster-master-id：添加从节点并指定主节点的UUID码

--cluster del-node：删除节点(只有从节点和空的主节点可以删除)

--cluster reshard：重新分片

import：集群内部实例
--cluster-from：外部实例
--cluster-copy：进行键值对拷贝
 清欢渡.
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis分布式集群
Richardlygo的博客
08-30 320
目录 Redis集群 1、Redis Cluster简介 2、Redis Cluster环境说明 3、Redis部署 4、启动Redis 5、部署Reids Cluster 6、连接集群 7、管理集群 7.1、查看集群状态信息 7.2、添加集群节点 7.3、分配slot 7.4、删除集群节点 7.5、slot数量平衡 7.3、集群外部...
【redis】分布式缓存
worn_xiao的博客
12-29 408
Redis数据类型 与Memcached仅支持简单的key-value结构的数据记录不同，Redis支持的数据类型要丰富得多，常用的数据类型主要有五种：String、List、Hash、Set和Sorted Set。 Redis数据类型内存结构分析 Redis内部使用一个redisObject对象来表示所有的key和value。redisObject主要的信息包括数据类型（type）、编码方
Redis 基础之Redis 配置
最新发布
奔走的蚂蚁的博客
05-09 782
Redis 提供了很多配置选项来优化 Redis 服务Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf可以通过 Redis CONFIG 命令查看或设置配置项Redis CONFIG GET 命令语法格式。
初识 Redis - 分布式,内存数据存储,缓存
xaiobit_hl的博客
07-09 1462
初始 Redis - 分布式,内存数据存储,缓存
Redis架构 - Cluster集群模式
MrXionGe的博客
01-03 952
Redis Cluster是Redis数据库的分布式解决方案，它能够将数据分布在多个Redis节点之间，从而提高数据的存储和访问能力。Redis Cluster使用哈希槽（hash slot）机制来将数据分布在多个节点之间。每个节点都负责存储一定数量的哈希槽。当向Redis Cluster写入数据时，会根据数据的键计算出一个哈希值，然后将该哈希值映射到相应的哈希槽上。这样，相同的键会被映射到同一个哈希槽上，并存储在同一个节点上。
集群化存储的概述
Liang_GaRy的博客
03-01 429
集群化存储的概述
redis集群实现（四） 数据的和槽位的分配
love coding
11-15 3万+
不知道有没有人思考过redis是如何把数据分配到集群中的每一个节点的，可能有人会说，把集群中的每一个节点编号，先放第一个节点，放满了就放第二个节点，以此类推。。如果真的是这样的话，服务器的利用率和性能就太低了，因为先放第一个，其他的服务器节点就闲置下来了，单个节点的压力就会非常的大，其实就相当于退化成为了单机服务器，从而违背了集群发挥每一个节点的性能的初衷。 在redis官方给出的集群方案中，数
Centos7 三台主机（配置三主三从）Redis分布式集群
12-20
在本文中，我们将详细讨论如何在CentOS 7环境下配置一个由三台主机组成的Redis分布式集群，每台主机上都有一个主节点和一个从节点，总计六个节点。这个过程涵盖了安装Redis、创建服务、配置集群、启动集群以及测试...
Redis分布式锁的正确实现方法总结
09-08
在提供的代码示例中，`tryGetDistributedLock`方法展示了如何使用Jedis客户端实现Redis分布式锁。方法接收Jedis实例、锁的键（lockKey）、请求ID（requestId）和超时时间（expireTime）作为参数。`Jedis.set()`方法...
redis分布式 —— 客户端库tinyredis1
08-03
《Redis分布式——客户端库tinyredis1详解》 在分布式系统中，Redis作为一种高性能的键值存储服务，常被用来构建高效的数据存储和缓存解决方案。本文将重点介绍一种名为tinyredis的客户端库，它是实现Redis分布式...
浅析Redis分布式锁
09-09
本文将通过实例分析Redis分布式锁的工作原理和实现方式。 首先，我们来看分布式锁的需求背景：在集群部署的系统中，有时需要确保特定任务在同一时间只有一个实例在执行，以避免任务争用导致的问题。例如，每天定时...
redis集群详细操作1
08-08
【Redis 集群详细操作1】 Redis 是一个高性能的键值对数据库，由Salvatore Sanfilippo开发，采用C语言编写，并以开源形式发布。其核心特性在于支持多种键值数据类型，包括字符串、散列、列表、集合和有序集合，这些...
分布式存储：Redis 集群（Redis Cluster）
ZHANGYONGHAO604的博客
12-29 487
aaaa
从rabbitmq谈谈基于redis的分布式存储系统的开发(1)
linyanwen99的专栏
08-12 4110
传统的数据库系统如mysql，在数据存储的可靠性，以及数据多机房的分布上可以满足，但是大几千甚至几万、几十万每秒的高并发读写请求上，由于硬盘瓶颈，所以性能通常无法满足，因此，在这种高并发请求的需求下，我们选择了redis这种nosql产品。 redis基于内存的读写，有着卓越的性能，号称能满足将近每秒10万的读写请求，因而能满足我们业务系统频繁读写（数万每秒）的需求。Redis支持string、
redis系列09--redis-Cluster原理
sunforlife的博客
07-30 530
目录 一、节点间的内部通信机制 1、基础通信原理 2、gossip协议 3、ping消息深入 二、面向集群的jedis内部实现原理 1、基于重定向的客户端 2、smart jedis 三、高可用性与主备切换原理 1、判断节点宕机 2、从节点过滤 3、从节点选举 4、与哨兵比较 一、节点间的内部通信机制 1、基础通信原理 （1）redis cluster节点间采取gos...
Redis(基础)——Redis集群架构与数据存储
weixin_44240370的博客
12-07 245
文章目录1、简介2、Redis集群架构2.1、Replication+Sentinel2.2、Proxy+Replication+Sentinel2.3、Redis Cluster3、Redis数据存储3.1、jemalloc3.2、redisObject3.3、SDS4、五种数据类型和内部编码4.1、string4.2、hash4.3、set4.4、zset 1、简介 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符
集群与存储
weixin_34377919的博客
10-08 175
集群 iscsi 共享数据完整性，安全性、协议存储是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问一方面它是数据临时或长期驻留的物理媒介，另一方面，它是保证数据完整安全存放的方式或行为，存储就是把这两个方面结合起来，向客户提供一套数据存放解放方案。存储技术分类：scsi小型计算机系统接口：作为输入／输出接口，请要用于硬盘、光盘、磁带机等设备。DAN直连式存...
集群分布式存储-MFS
oschina_41926682的博客
07-17 598
概念：具备冗余功能的分布式存储，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 组件：管理服务器（master）、元数据备份服务器（matelogger）、数据存储服务器组（chunkserver）、客户机服务器组（client） 环境： centos7.6 关闭防火墙和selinux 优缺： 优点：高可靠性、高可扩展性、高数据一致性、高容错性 缺点：master单点，岁吧数据信息同步到备份服务器，但恢复依然需要很长时间；master服务器对主机内存要求相对较高；mas
常见开源分布式存储系统
热门推荐
wujin8589的博客
04-20 4万+
系统整体对比 对比说明 /文件系统 TFS FastDFS MogileFS MooseFS GlusterFS Ceph 开发语言 C++ C Perl C C C++ 开源协议 GPL V2 GPL
redis客户端怎么登陆redis集群
09-04
3. Redis集群通常使用分布式的方式存储数据，每个节点负责管理其中一部分数据。因此，在连接Redis集群时，需要提供至少一个可用的节点信息，客户端将会自动获取其他节点的信息。 4. 使用客户端提供的命令行或API，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值