redis分区（分片）原理

已于 2022-02-25 09:21:22 修改
阅读量4.4k 收藏 7
点赞数
文章标签： redis 缓存 数据库
于 2022-02-22 09:52:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiantian929/article/details/123060942
版权

redis相关文章

----redis原理概述
-----redis集群方案
----redis分区（分片）原理
----Redis实现分布式锁
----redis缓存穿透、雪崩和解决方案

分区的概念

  • 分区是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集
  • 如果只使用一个redis实例时，其中保存了服务器中全部的缓存数据，这样会有很大风险，如果单台redis服务宕机了将会影响到整个服务。解决的方法就是我们可以采用分片/分区的技术，将原来一台服务器维护的整个缓存，现在换为由多台服务器共同维护内存空间

分片的实现

说明与分析
采用在一台主机上实现分片的方式，所以只需要在该主机上配置启动三台redis的实例即可。因为redis默认使用的端口号为6379，所以这里我们分别使用6379、6380以及6381三个端口来实现
结构图
在这里插入图片描述
配置

  1. 进入到redis的安装目录下，创建一个shard文件夹，然后将redis的配置文件"redis.conf"复制一份，取名为"redis-6379.conf"(作为6379这台实例的配置文件)。然后将该文件移动到shard文件夹下，再将"redis-6379.conf"复制两份，一个叫"redis-6380.conf"(作为6380这台实例的配置文件)，一个叫"redis-6381.conf"(作为6381这台实例的配置文件)
    在这里插入图片描述

  2. 修改6379这台实例的配置文件，因为端口6379默认就是redis的端口
    在这里插入图片描述

  3. 修改6380实例的配置文件，修改该实例占用的端口为6380
    在这里插入图片描述

  4. 修改pid
    在这里插入图片描述

  5. 修改dump文件名
    在这里插入图片描述

  6. 修改6381实例的配置文件，端口为6381，修改pid，修改dump文件名
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
7. 启动3台redis实例
在这里插入图片描述

Redis分区实现方案

  • 客户端分区
    是在客户端就已经决定数据会被存储到哪个redis节点或者从哪个redis节点读取。大多数客户端已经实现了客户端分区

    • 范围分区
      映射一定范围的对象到特定的Redis实例。比如，ID从0到10000的用户会保存到实例R0，ID从10001到 20000的用户会保存到R1，以此类推
    • hash一致算法实现分区
      hash一致算法实现分区，对key值进行hash一致性计算后得到结果，最终将数据保存到某一台redis实例中

  • 代理分区
    客户端将请求发送给代理，然后代理决定去哪个节点写数据或者读数据。代理根据分区规则决定请求哪些Redis实例，然后根据Redis的响应结果返回给客户端。redis和memcached的一种代理实现就是Twemproxy

  • 查询路由(Query routing)
    是客户端随机地请求任意一个redis实例，然后由Redis将请求转发给正确的Redis节点。Redis Cluster实现了一种混合形式的查询路由，但并不是直接将请求从一个redis节点转发到另一个redis节点，而是在客户端的帮助下直接redirected到正确的redis节点

分区的不足

  1. 分区是多台redis共同作用的，如果其中一台出现了宕机现象，则整个分片都将不能使用，虽然是在一定程度上缓减了内存的压力，但是没有实现高可用
  2. 涉及多个key的操作通常是不被支持的，当两个set映射到不同的redis实例上时，因为他们可能被存储到不同的Redis实例，你就不能对这两个set执行交集操作
  3. 涉及多个key的redis事务不能使用
  4. 分区使用的粒度是key，不能使用一个非常长的排序key存储一个数据集
  5. 当使用分区时，数据处理较为复杂，比如你需要处理多个rdb/aof文件，并且从多个实例和主机备份持久化文件
  6. 分区时动态扩容或缩容可能非常复杂。Redis集群在运行时增加或者删除Redis节点，能做到最大程度对用户透明地数据再平衡，但其他一些客户端分区或者代理分区方法则不支持这种特性
  7. 高可用的解决方案：可以采用哨兵机制实现主从复制从而实现高可用

redis相关文章

----redis原理概述
-----redis集群方案
----redis分区（分片）原理
----Redis实现分布式锁
----redis缓存穿透、雪崩和解决方案

别丢了one
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis分片机制
weixin_43243583的博客
10-11 1639
文章原创于公众号：程序猿周先森。本平台不定时更新，喜欢我的文章，欢迎关注我的微信公众号。 前两篇文章对Redis主从复制和主从切换的知识点进行了介绍，但是也很明显的有一点小弊端： 需要定时进行主从复制会影响Redis性能。 主节点宕机后，从所有从节点选择进行主从切换。主从切换的过程中非服务不可用。 引入分片概念--分片机制的作用 而本篇文章主要谈谈Redis的分片机制，如果没有分片机制，...
Redis的分片与分区策略
禅与计算机程序设计艺术
01-18 1140
1.背景介绍 Redis是一个开源的高性能键值存储系统，适用于缓存、实时数据处理和高性能数据库等场景。随着数据量的增加，单个Redis实例的存储能力和性能可能不足以满足需求，这时需要考虑Redis的分片(sharding)和分区(partitioning)策略。 分片是将数据拆分成多个部分，分布在多个Redis实例上，以实现水平扩展。分区是在单个Redis实例内部将数据拆分成多个部分，以实现更...
Redis的分片机制
Flying_Fish_roe的博客
03-21 1576
这一层主要定义了将数据划分到不同节点上的方法。Redis使用一致性哈希算法来确定数据在节点上的位置。一致性哈希算法将数据的key映射到一个连续的哈希环上，然后在环上选择离它最近的节点作为数据存储的位置。这一层主要负责节点的管理和维护。Redis使用主从复制机制来实现节点的高可用性。每个分片都有一个主节点和多个从节点，主节点负责处理写操作并将写操作同步给从节点，从节点负责处理读操作。这一层主要负责数据迁移。当节点的数量发生变化（如新增、删除节点）或者数据的分布不均衡时，需要进行数据迁移来重新分配数据。
Redis分片集群搭建
最新发布
qq_62383709的博客
06-20 869
Redis分片集群如何判断某个key应该在哪个实例？将16384个插槽分配到不同的实例根据key计算哈希值，对16384取余余数作为插槽，寻找插槽所在实例即可如何将同一类数据固定的保存在同一个Redis实例？Redis计算key的插槽值时会判断key中是否包含{}，如果有则基于{}内的字符计算插槽数据的key中可以加入{类型}，例如key都以{typeId}为前缀，这样同类型数据计算的插槽一定相同。
Redis数据分片详解
FYHannnnnn的博客
08-03 2049
Redis 集群简介 Redis Cluster 是 Redis 的分布式解决方案，在 3.0 版本正式推出，有效地解决了 Redis 分布式方面的需求。 Redis Cluster 一般由多个节点组成，节点数量至少为 6 个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。 图片来源 redislabs 如上图所示，该集群中包含 6 个 Redis 节点，3主3...
redis HA高可用方案Sentinel和shard
think的专栏
12-10 1万+
1、搭建redis-master、redis-slave以及seninel哨兵监控 在最小配置：master、slave各一个节点的情况下，不管是master还是slave down掉一个，“完整的”读/写功能都将受影响，这在生产环境中显然不能接受。幸好redis提供了sentinel（哨兵）机制，通过sentinel模式启动redis后，自动监控master/slave的运行状态，基本
Redis分片
weixin_47188125的博客
08-26 3048
这就好比不要把鸡蛋放在同一个篮子里，这样一旦一个篮子掉在地上，摔碎了，别的篮子里还有没摔碎的鸡蛋，不至于一个不剩。算笔账，假设系统QPS 1w，每次调用会访问10次缓存或DB的数据，则当缓存命中率仅减少1%，DB每s就增加1w * 10 * 1% = 1000次请求。不利于扩展，当需要扩展的时候，前三个数据库的数据都可能需要迁移到第四个redis数据库中，发生大规模的数据迁移。这样，当某节点故障，其备份节点可顶替它继续服务。，考虑将数据分片，依照分片算法将数据打散到多个不同节点，每个节点存储部分数据。...
RedisCluster分区实现原理
02-26
在RedisCluster中，分区实现的关键在于数据的均匀分布、客户端的正确访问以及在分片过程中保持服务的连续性。 RedisCluster的核心概念是槽（slot），这是一组从0到16383的数字，用于确定数据应存储在哪个节点上。每...
Redis Cluster集群数据分片机制原理
09-08
在 Redis Cluster 中，数据分片是核心机制，它将数据分散到多个节点上，以实现负载均衡和存储容量的扩展。 Redis 集群通常由至少六个节点组成，其中包括三个主节点和三个从节点。主节点负责处理读写请求，从节点则...
Redis_Redis分布式缓存_
09-30
3. **数据分片**: 数据分片是另一种分布式策略，将数据分割成多个片段并分别存储在不同的节点上。这有助于水平扩展Redis集群，提高处理能力。 4. **过期策略**: Redis提供了TTL（Time To Live）机制，允许为键设置...
redis集群搭建相关文件
02-10
Redis集群是通过分片（Sharding）技术将数据分散到多个节点上，每个节点负责一部分数据的存储和读写操作。它采用无中心结构，所有节点间相互通信，共同维护整个集群的状态。在Redis集群中，数据被分为16384个槽...
redis按文件夹分层
折剑听雨落
05-25 3971
使用redis存储数据的时候，有时候为了查看的方便，通常会有层级或者说是目录，这时候我们在set的时候，需要将key值使用“:”的符号来区分层级关系，比如：set(“a:b”, “123”)，那么在redis中就是a目录下的key值为b的value为123。 ...
Redis 集群分片原理
qq_40091033的博客
04-01 338
Redis 集群分片原理
Redis的分片、预分片技术总结
逍遥子曰：
07-30 1万+
Redis的分片、预分片技术总结 Redis的分片（Sharding或者Partitioning）技术是指将数据分散到多个Redis实例中的方法，分片之后，每个redis拥有一部分原数据集的子集。在数据量非常大时，这种技术能够将数据量分散到若干主机的redis实例上，进而减轻单台redis实例的压力。 分片技术能够以更易扩展的方式使用多台计算机的存储能力（这里主要指内存的存储能力）和计
Redis集群数据分片机制说明
热门推荐
漫天雪_昆仑巅
03-24 1万+
Redis 集群简介 Redis Cluster 是 Redis 的分布式解决方案，在 3.0 版本正式推出，有效地解决了 Redis 分布式方面的需求。 Redis Cluster 一般由多个节点组成，节点数量至少为 6 个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。 如上图所示，该集群...
redis分片_如何处理redis集群中big key和hot key
weixin_39548438的博客
12-08 426
redis 集群部署方式大部分采用类 Twemproxy 的方式进行部署。即通过 Twemproxy 对 redis key 进行分片计算，将 redis key 进行分片计算，分配到多个 redis 实例中的其中一个。tewmproxy 架构图如下：由于 Twemproxy 背后的多个 redis 实例在内存配置和 cpu 配置上都是一致的，所以一旦出现访问量倾斜或者数据量倾斜，则可能会导致某个...
redis的分片机制和哨兵机制
gja586974的博客
11-16 1089
redis分片机制 redis在整个处理流程中通常是用作数据库或者缓存的，当redis宕机的后，会影响整个流程的执行，因此我们将redis分片，所谓分片其实就是多部署几台redis，将数据尽可能的保存到不同的redis中，当一台redis宕机后只会影响一部分数据，redis分片的优点是可以实现内存的动态扩容，从而解决海量数据存储的问题，但是redis不能够实现高可用。 那么当有多个redis的时候，传进来的数据如何决定存储在哪个redis中呢？在redis底层有一套算法叫做Hash一致性算法: 一般的h
redis 分区 、集群概念
u014203449的博客
07-14 7147
分区 是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集。分区可以让Redis管理更大的内存，Redis将可以使用所有机器的内存。如果没有分区，你最多只能使用一台机器的内存。分区使Redis的计算能力通过简单地增加计算机得到成倍提升,Redis的网络带宽也会随着计算机和网卡的增加而成倍增长。 分区实现原理： https://www.cnblogs.com/hjwub...
NoSQL生态系统——hash分片和范围分片两种分片
djph26741的博客
01-06 244
13.4 横向扩展带来性能提升 很多NoSQL系统都是基于键值模型的，因此其查询条件也基本上是基于键值的查询，基本不会有对整个数据进行查询的时候。由于基本上所有的查询操作都是基本键值形式的，因此分片通常也基于数据的键来做：键的一些属性会决定这个键值对存储在哪台机器上。下面我们将会对hash分片和范围分片两种分片方式进行描述。 3.4.2 通过协调器进行数据分片 由于CouchDB专...
redis集群分片原理
08-19
Redis集群分片的原理是为了解决容量问题，因为每台Redis机器的内存设置较小。通过将数据分散存储在多个节点上，可以增加整个集群的存储容量和性能。分片是根据数据的键进行的，每个键会被映射到一个特定的槽位，而每个槽位又会被分配给集群中的某个节点。这样，当客户端发送数据请求时，根据键的哈希值，可以确定数据所在的槽位，从而找到对应的节点进行数据的读取或写入操作。通过这种方式，可以实现数据在不同节点之间的分布，提高整个集群的性能和扩展性。 在Redis集群中，使用了哈希槽（hash slot）的概念来进行数据分片。集群中共有16384个哈希槽，每个槽可以存储一部分数据。当集群中新增或删除节点时，槽位会重新分配给新的节点，实现数据的平衡迁移。同时，Redis集群还使用了Gossip协议来实现节点间的信息交换和管理，保证集群的高可用性和可靠性。通过使用Redis集群分片的机制，可以实现数据的水平扩展和高性能的分布式存储。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Redis Cluster集群数据分片机制原理](https://download.csdn.net/download/weixin_38651165/12822944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [redis集群分片的原理详解](https://blog.csdn.net/nandao158/article/details/123715287)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值