Redis Cluster 集群原理

最新推荐文章于 2024-08-27 13:55:12 发布
最新推荐文章于 2024-08-27 13:55:12 发布
阅读量164 收藏 4
点赞数
分类专栏： Redis 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44367006/article/details/106505912
版权

目录

简介

Redis Cluster 是 Redis3.0 版本后推出的分布式解决方案，当遇到单机内存、并发等瓶颈时，可使用此方案来解决。

和 主从模式 和 哨兵模式 不同的是：

  • 主从模式和哨兵模式只能保证高可用，每一台机器存储的内容是相同的。
  • Cluster 能够让 Redis 存储更多的内容，集群里 master 之间的内容是不同的。另外每一个 master 还可以配置自己的 slave 达到高可用

分区规则

Redis Cluste r采用了哈希分区的“虚拟槽分区”方式

所有的键根据哈希函数 (CRC16[key]&16383) 映射到 0－16383 槽内，共 16384（214）个槽位，每个节点维护部分槽及槽所映射的键值数据

在这里插入图片描述

缺陷

  1. 键的批量操作支持有限，比如mset, mget，如果多个键映射在不同的槽，就不支持了
  2. 键事务支持有限，当多个键分布在不同节点时无法使用事务
  3. 键是数据分区的最小粒度，不能将一个很大的键值对映射到不同的节点
  4. 不支持多数据库
  5. 复制结构只支持单层结构，不支持树型结构

通信协议——Gossip

Gossip协议的主要职责就是信息交换，信息交换的载体就是节点之间彼此发送的Gossip消息，常用的Gossip消息有ping消息、pong消息、meet消息、fail消息

  • meet消息：用于通知新节点加入，消息发送者通知接收者加入到当前集群，meet消息通信完后，接收节点会加入到集群中，并进行周期性ping pong交换
  • ping消息：集群内交换最频繁的消息，集群内每个节点每秒向其它节点发ping消息，用于检测节点是否在线和状态信息，ping消息发送封装自身节点和其他节点的状态数据；
  • pong消息：当接收到ping meet消息时，作为响应消息返回给发送方，用来确认正常通信，pong消息也封闭了自身状态数据；
  • fail消息：当节点判定集群内的另一节点下线时，会向集群内广播一个fail消息

在这里插入图片描述

以上的所有消息格式为：消息头、消息体。消息头包含发送节点自身状态数据（比如节点ID、槽映射、节点角色、是否下线等），接收节点根据消息头可以获取到发送节点的相关数据。

在这里插入图片描述

节点定时任务

在这里插入图片描述

路由重定向

在这里插入图片描述

下线

在这里插入图片描述

主观下线

在这里插入图片描述

客观下线

许多个主观就是客观，生活中可不能这样。
在这里插入图片描述

故障恢复

在这里插入图片描述

君莫笑(๑˙ー˙๑)
关注
专栏目录
Redis——Redis Cluster集群原理
庄小焱
03-14 4592
摘要 我们平时习惯于使用 Rabbitmq 和 Kafka 作为消息队列中间件，来给应用程序之间增加异步消息传递功能。这两个中间件都是专业的消息队列中间件，特性之多超出了大多数人的理解能力。使用过 Rabbitmq 的同学知道它使用起来有多复杂，发消息之前要创建 Exchange，再创建 Queue，还要将 Queue 和 Exchange 通过某种规则绑定起来，发消息的时候要指定 routingkey，还要控制头部信息。消费者在消费消息之前也要进行上面一系列的繁琐过程。但是绝大多数情况下，虽然我们的消息
Redis Cluster的实现机制和原理
06-14
Redis Cluster主要特性和设计，Redis Cluster主要特性和设计
总结Redis Cluster原理+基本使用+运维注意事项
热门推荐
张彦峰的博客
04-20 173万+
总结Redis Cluster原理+基本使用+运维注意事项
Redis cluster集群原理与配置
菊头蝙蝠的博客
05-12 3625
Redis主从复制：数据同步原理一、主从复制二、数据同步全量数据同步增量数据同步服务器 RUN ID复制偏移量 offset环形缓冲区三、何时使用全量还是增量数据同步 一、主从复制 命令：redis-server --replicaof 127.0.0.1 7001 执行该命令后，当前服务器得redis-server就会成为127.0.0.1 7001的从数据库了，使用从数据库可以使得数据更加安全。从数据库具有只读属性，不能写。 主数据库要给从数据库同步数据才能使用，下面将介绍同步数据的方式 二、数据同步
Redis Cluster集群原理及Lettuce深度解析
weixin_42356639的博客
08-27 825
下图展示了Netty NIO的核心逻辑。NIO通常被理解为non-blocking I/O的缩写，表示非阻塞I/O操作。图中Channel表示一个连接通道，用于承载连接管理及读写操作；EventLoop则是事件处理的核心抽象。一个EventLoop可以服务于多个Channel，但它只会与单一线程绑定。EventLoop中所有I/O事件和用户任务的处理都在该线程上进行；
redis（六）Redis Cluster集群原理
qq_35599414的博客
07-30 2556
一、数据分布 一、数据分布理论 aa 二、搭建集群 三、节点通信 四、集群伸缩 五、请求路由 六、故障转移 七、集群运维 五种数据结构底层实现，限流、lru、布隆过滤器、数据一致性、多路复用IO模型、零拷贝、分布式锁 ...
Redis Cluster集群原理
AF
12-14 106
redis cluster介绍 redis cluster是Redis的分布式解决方案，在3.0版本推出后有效地解决了redis分布式方面的需求 自动将数据进行分片，每个master上放一部分数据 提供内置的高可用支持，部分master不可用时，还是可以继续工作的。高可用，因为每个master都有salve节点，那么如果mater挂掉，redis cluster这套机制，就会自动将某个slave切换成master 在redis cluster 架构下，每个redis 要放开两个端口号，比如一个是 6
关于Redis Cluster集群运维与核心原理
weixin_45925485的博客
02-01 927
当客户端向一个错误的节点发出了指令，该节当客户端向一个错误的节点发送指令时，该节点会察觉到指令涉及的 key 并不在自己负责的槽位上。客户端接收到这个指令后，不仅会切换到正确的节点执行操作，还会更新本地的槽位映射表缓存，确保后续的所有 key 都使用新的槽位映射表。每个节点都需要被设置成集群模式，这种模式没有中心节点的概念，可以水平扩展，根据官方文档的称述，甚至可以线性扩展到上万个节点（尽管官方推荐不超过 1000 个节点）。它允许数据分布在多个节点上，每个节点都可以对外提供服务，避免了单一主节点的瓶颈。
Redis cluster集群原理及搭建
weixin_30470643的博客
09-17 159
一、集群原理架构Redis cluster使用去中心化的思想，整个集群是分布式的。所有的redis节点彼此互联(PING-PONG机制)，内部使用二进制协议优化传输速度和带宽。客户端与redis节点直连，不需要中间proxy层。客户端不需要连接集群所有节点，只要连接集群中任意一个可用节点即可。Redis集群数据分片（Redis cluster data sharding）不使用一致性哈希算法，而是...
Redis Cluster集群原理+实战
xvktdmjg的博客
04-03 1960
目录 [图片上传失败…(image-fd8c53-1617457870946)] Redis Cluster集群原理+实战 背景 之前我们介绍过Redis主从集群+哨兵的搭建，架构如下图所示 这种集群模式下水平扩容和垂直扩容都可以实现，并且可以实现高可用性和易用性 水平扩容：比如增加一套主从集群，在predixy代理处配置hash寻址，让部分数据可以被新加入的主从集群存储，水平扩容的实现强烈依赖于predixy代理。 垂直扩容：比如增加某个集群的内存，提升单机/单集群的处理能力 高可用性：一套哨兵集群
25_你能聊聊redis cluster集群模式的原理吗？.zip
11-13
Redis Cluster是Redis官方提供的分布式集群解决方案，它允许用户在多台服务器上部署Redis实例，形成一个高可用、可扩展的数据存储集群。Redis Cluster通过数据分片（Sharding）和槽分区（Slot Partitioning）策略来...
Redis Cluster集群的实现原理
2401_83915450的博客
04-16 661
这份面试题几乎包含了他在一年内遇到的所有面试题以及答案，甚至包括面试中的细节对话以及语录，可谓是细节到极致，甚至简历优化和怎么投简历更容易得到面试机会也包括在内！也包括教你怎么去获得一些大厂，比如阿里，腾讯的内推名额！某位名人说过成功是靠99%的汗水和1%的机遇得到的，而你想获得那1%的机遇你首先就得付出99%的汗水！你只有朝着你的目标一步一步坚持不懈的走下去你才能有机会获得成功！成功只会留给那些有准备的人！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》
rediscluster集群原理
08-18
- *2* *3* [Redis——cluster集群原理](https://blog.csdn.net/weixin_41605937/article/details/114779041)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
Redis Cluster集群搭建、Cluster集群扩缩容、底层原理
qq_44027353的博客
03-22 716
写操作只能在一台master节点上进行单台redis的使用内存一般不超过10G，因为内存如果太大持久化时会影响性能master宕机后，重新选举，这一段时间中整个redis集群是不可用的而Redis3.0版本开始就提供了RedisCluster的集群模式整个服务数据是分片存储在多个master节点上的，每个master中存储的数据是不一样的，各个master节点下又可以加多个从节点，这样就组成了一个一个的小集群，多个小集群就组成了整个Cluster集群。
Redis Cluster集群模式的原理与搭建
Jack章臣的博客
02-15 1052
Redis 3.0之后，redis节点之间通过去中心化的方式，提供了完整的sharding分片、replication主从复制（复制机制仍使用原有机制，并且具备感知主备的能力）、failover故障容错的解决方案，该方案称为Redis Cluster。即：将proxy代理/sentinel哨兵的工作融合到了普通Redis节点里，下面将介绍Redis Cluster这种模式下，水平...
基于Vue的老年人健康管理平台设计源码
09-24
该项目是基于Vue的老年人健康管理平台设计源码，共计136个文件，其中包括50个JavaScript文件、17个Python源文件、14个Python字节码文件、11个SVG图像文件、8个Markdown文档、5个XML文件、5个JSON配置文件、5个PNG图片文件、5个Vue组件文件以及2个Git忽略文件，实现了前端界面与后端逻辑的完整构建。
基于Vue.js的麻将计分系统设计源码
最新发布
09-24
该项目是基于Vue.js的麻将计分系统设计源码，共包含61个文件，涵盖28个JavaScript文件、6个map文件、5个CSS样式文件、5个SVG图形文件、4个HTML页面、3个JSON配置文件、2个Vue组件文件、1个开发环境配置文件、1个生产环境配置文件、1个Git忽略文件。项目前端采用Vue框架开发，后端代码尚未开源。
Bulk Rename Utility(批量改名) v4.0.0 一款功能强大的批量文件重命名工具.rar
09-24
Bulk Rename utility(文件重命名软件)是一款简便实用的批量文件重命名工具。怎么快速多个文件改名？Bulk Rename utility(文件重命名软件)轻松帮助用户批量修改文件名。该软件具有灵活规则的自动编号文件，而且还能够根据多个灵活的标准快速重命名多个文件。 激活信息（大飞哥软件自习室）在压缩包文档内 软件特色 1、快速重命名多个文件，根据许多灵活的标准。 2、多功能的重命名方式：添加，替换文件名中插入文本。转换的情况下，添加号码。删除或更改文件扩展名。 3、在文件重命名前可以即时预览。 4、重命名的照片EXIF元数据(即“拍摄日期”，“分辨率”等信息嵌入在所有JPG图片文件)重命名你的照片文件名从一个毫无意义的dsc1790.jpg到一个新的文件名。 5、重命名MP3文件的ID3标签(又名MP3 ID3标签重命名)。 6、更改文件的创建日期和修改时间等。
geopandas安装包(pip install)_geopandas-0.14.1.tar.zip
09-24
在使用Python来安装geopandas包时，由于geopandas依赖于几个其他的Python库（如GDAL, Fiona, Pyproj, Shapely等），因此安装过程可能需要一些额外的步骤。以下是一个基本的安装指南，适用于大多数用户： 使用pip安装 确保Python和pip已安装： 首先，确保你的计算机上已安装了Python和pip。pip是Python的包管理工具，用于安装和管理Python包。 安装依赖库： 由于geopandas依赖于GDAL, Fiona, Pyproj, Shapely等库，你可能需要先安装这些库。通常，你可以通过pip直接安装这些库，但有时候可能需要从其他源下载预编译的二进制包（wheel文件），特别是GDAL和Fiona，因为它们可能包含一些系统级的依赖。 bash pip install GDAL Fiona Pyproj Shapely 注意：在某些系统上，直接使用pip安装GDAL和Fiona可能会遇到问题，因为它们需要编译一些C/C++代码。如果遇到问题，你可以考虑使用conda（一个Python包、依赖和环境管理器）来安装这些库，或者从Unofficial Windows Binaries for Python Extension Packages这样的网站下载预编译的wheel文件。 安装geopandas： 在安装了所有依赖库之后，你可以使用pip来安装geopandas。 bash pip install geopandas 使用conda安装 如果你正在使用conda作为你的Python包管理器，那么安装geopandas和它的依赖可能会更简单一些。 创建一个新的conda环境（可选，但推荐）： bash conda create -n geoenv python=3.x anaconda conda activate geoenv 其中3.x是你希望使用的Python版本。 安装geopandas： 使用conda-forge频道来安装geopandas，因为它提供了许多地理空间相关的包。 bash conda install -c conda-forge geopandas 这条命令会自动安装geopandas及其所有依赖。 注意事项 如果你在安装过程中遇到任何问题，比如编译错误或依赖问题，请检查你的Python版本和pip/conda的版本是否是最新的，或者尝试在不同的环境中安装。 某些库（如GDAL）可能需要额外的系统级依赖，如地理空间库（如PROJ和GEOS）。这些依赖可能需要单独安装，具体取决于你的操作系统。 如果你在Windows上遇到问题，并且pip安装失败，尝试从Unofficial Windows Binaries for Python Extension Packages网站下载相应的wheel文件，并使用pip进行安装。 脚本示例 虽然你的问题主要是关于如何安装geopandas，但如果你想要一个Python脚本来重命名文件夹下的文件，在原始名字前面加上字符串"geopandas"，以下是一个简单的示例： python import os # 指定文件夹路径 folder_path = 'path/to/your/folder' # 遍历文件夹中的文件 for filename in os.listdir(folder_path): # 构造原始文件路径 old_file_path = os.path.join(folder_path, filename) # 构造新文件名 new_filename = 'geopandas_' + filename # 构造新文件路径 new_file_path = os.path.join(folder_path, new_filename) # 重命名文件 os.rename(old_file_path, new_file_path) print(f'Renamed "{filename}" to "{new_filename}"') 请确保将'path/to/your/folder'替换为你想要重命名文件的实际文件夹路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值