Redis03(集群分片，String内存消耗)

已于 2023-05-03 22:24:58 修改
阅读量59 收藏
点赞数
分类专栏： redis原理学习 文章标签： redis 数据库 缓存
于 2023-05-03 21:10:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63691156/article/details/130476887
版权
集群切片用于解决内存需求大和扩展性问题，通过CRC16算法分配哈希槽实现数据分布。当实例增删或负载均衡时，需重分布哈希槽。在数据过多的哈希槽迁移过程中，可能返回erroracking，待新实例ACK后继续处理请求。此过程可能导致短暂的服务影响。
摘要由CSDN通过智能技术生成

集群切片

需要的内存大-------> fork生成RDB的时间长-------->分片。同时纵向扩展也会导致硬件和成本的限制。

分片后，我们就面临着映射关系的处理。

key ----->crc16算法-----》16bit的值，然后%16384就得到了哈希槽

重定向

1redis实例有新增和删除 2.同时也是为了负载均衡 -----------》重新分布哈希槽

 

 

同时如果一个哈希槽数据过多-----》处于迁移过程------>返回erro acking，然后再到新的实例发送ackong请求,允许其处理客户端请求，然后再get。（这个点还是不太清楚）

 

 还是会向实例2发送请求

String 

导致内存消耗变大

 

 

boring_111
关注
专栏目录
Redis: 深入解析高性能内存数据库的实现原理
fudaihb的博客
06-15 1169
Redis（Remote Dictionary Server）作为一个高性能的内存键值存储数据库，以其卓越的性能和丰富的数据结构支持，广泛应用于缓存、会话管理、实时分析等场景。本文将深入探讨Redis的实现原理和机制，包括其数据结构、持久化机制、主从复制、哨兵模式、集群架构及其优化策略。
Redis 篇-初步了解 Redis 持久化、Redis 主从集群、Redis 哨兵集群、Redis 分片集群
小扳手
09-17 1901
在子进程写入磁盘过程中，主进程有可能会进行写操作，所有为了防止脏读的情况，在写数据的时候，将内存的数据进行拷贝，再来进行写操作。在 slave 加载 RDB 文件的时候，master 也会不断接收写操作的请求命令，这些命令会先保存到 repl_baklog 文件中，等待 slave 加载完成之后，master 发送 repl_baklog 中的命令到 slave 节点中，而 slave 节点接收到命令就会执行。重新启动该 Redis 服务之后，会自动从 RDB 文件中获取数据，重新将数据放到内存中。
Redis集群详解
怪咖@的博客
06-26 2万+
在了解Redis集群之前尽量先了解清楚Redis的主从复制和哨兵机制。读写分离，性能扩展，降低主服务器的压力容灾，快速恢复，主机挂掉时，从机变为主机Redis 主从模式不具备自动容错和恢复功能，如果主节点宕机，Redis 集群将无法工作，此时需要人为干预，将从节点提升为主节点。哨兵机制作用主要是监控主从节点，当主节点挂掉，通过内部投票机制，从 从节点当中选出一个主节点，这样可以避免人工成本。虽然主从+哨兵采用了多节点，但是他们存在的目的主要是解决容灾问题，而并非性能问题。
Redis的集群-详细操作及理论
求你们看我的博客
08-15 1134
广义的集群：只要是多个机器，构成了分布式系统，都可以称为是一个”集群“，前面博客所讲的哨兵模式，也可以称为是”广义的集群“狭义的集群：redis提供的集群模式，这个集群模式之下，主要是要解决，存储空间不足的问题（拓展存储空间）哨兵模式提高了系统的可用性：哨兵模式中，本质还是redis主从节点存储数据，其中就要求一个主节点/从节点，就得存储整个数据的”全集“此处关键问题，就是引入多台机器，每台机器存储一部分数据，设由1TB的数据需要存储，拿两台机器来存，每个机器只需要存512G即可；
Redis的分片、哨兵、集群、持久化
YP_yaopeng的博客
07-26 597
Redis 1.什么是redis Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 它是内存中的数据结构存储系统，可以用来作为数据库、缓存和消息中间件。它支持多种类型的数据结构：字符串(String)，哈希(Hash)，列表(list)，集合(sets) 和有序集合(sorted sets)。 Redis内置了复制（replication），LUA脚本（Lua scripting），LRU驱动事件（LU
redis集群分片存储
qq_22866497的博客
07-19 533
文章目录redis集群分片存储为什么要分片存储官方集群方案搭建集群集群关心的问题Java客户端代码非官方集群方案 redis集群分片存储 为什么要分片存储 假设公司用户有3千万，用户基本信息缓存到redis中，需要内存10G，如何设计redis的缓存架构？ 3千万用户，各种业务场景对用户信息的访问量很大，单台redis实例的读写瓶颈凸显。 单redis实例管理10G内存，必然影响处理效率。 re...
总结Redis Cluster原理+基本使用+运维注意事项
热门推荐
张彦峰的博客
04-20 173万+
总结Redis Cluster原理+基本使用+运维注意事项
Redis集群分片存储小结
u010397795的博客
11-09 324
文章目录Redis集群分片存储Redis 集群的主从复制模型Redis 一致性保证搭建集群准备6个独立的redis服务安装redis准备6个redis.conf配置文件启动6个redis事例通过redis-cli工具创建集群检验集群和测试故障转移测试测试自动故障转移手动故障转移集群扩容集群节点删除集群需要注意的问题客户端对Redis集群的支持 Redis集群 Redis Cluster是Redis...
Redis集群
Drw_Dcm的博客
10-02 9782
Redis集群
Redis 切片集群的数据倾斜分析
java_beautiful的博客
06-22 472
Redis 中如何应对数据倾斜 什么是数据倾斜 如果 Redis 中的部署，采用的是切片集群，数据是会按照一定的规则分散到不同的实例中保存，比如，使用Redis Cluster或Codis。v
集群系列：Redis集群方案及新版实战
2301_76607156的博客
04-28 421
主从复制模式是三种模式中最简单的一种，多台Redis实例，以一台实例作为主机，其余的实例作为备份机，主机和从机的数据完全一致，主从复制提高了Redis读请求的吞吐量主机支持数据的读和写操作，而从机只支持读和数据同步，客户端将数据写入主机后，由主机自动的将数据写入到从机中在Redis中主从复制的同步策略有两种全量更新：复制主机所有数据到从机增量更新：仅复制主机与从机差异数据到从机。
Redis中的线程模型
m0_53926113的博客
11-09 1160
通过引入多线程，Redis 提升了并发请求处理的能力，同时也保持了原有的单线程模型对请求处理的简单性。通过引入多线程，这些磁盘 I/O 密集型的任务可以并行处理，从而避免了对主线程的阻塞，使得客户端请求的处理更加高效。总之，Redis 采用单线程模型是为了性能、简化设计以及高效的内存操作，但随着技术的发展，Redis 在 6.0 之后适时引入多线程以优化网络 I/O 和持久化任务的处理，进一步提升了系统的整体性能。Redis 使用单线程的设计，充分利用了内存操作的高效性，避免了多线程带来的复杂性。
Redis - 事务
ketil27的博客
11-08 935
Redis 的事务和MySQL的事务概念上是类似的.都是把⼀系列操作绑定成⼀组.让这⼀组能够批量执 ⾏.弱化的原⼦性:redis没有"回滚机制".只能做到这些操作"批量执⾏".不能做到"⼀个失败就恢复到 初始状态".不保证⼀致性:不涉及"约束". 也没有回滚.MySQL的⼀致性体现的是运⾏事务前和运⾏后,结果都 是合理有效的,不会出现中间⾮法状态.不需要隔离性:也没有隔离级别,因为不会并发执⾏事务(redis单线程处理请求).
36.Redis核心设计原理
Csdn_xzh的博客
11-12 847
Set为无序的，自动去重的集合数据类型，Set 数据结构底层实现为一个value为x`的字典（dict），当数据可以用整形表示时，Set集合将被编码为intset数据结构。ZSet 为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为字典（dict）+跳表（skiplist），当数据比较少时，用ziplist编码结构存储。ZSet 为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为 字典(dict) + 跳表(skiplist) ,当数据比较少时，用ziplist编码结构存储。
Python 连接 Redis 进行增删改查（CRUD）操作
XMYX-0
11-09 667
Redis 是一个开源的内存数据结构存储系统，支持多种数据结构（如字符串、哈希、列表、集合、有序集合等），广泛用于缓存、会话管理、消息队列等场景。本文将介绍如何在 Python 中使用redis-py库连接 Redis 数据库，并进行常见的增删改查操作。本文展示了如何在 Python 中使用redis-py库连接 Redis 并进行增删改查操作。Redis 的灵活性和高效性使其成为构建高性能应用的理想选择。
初识Redis
m0_53926113的博客
11-08 1170
通常，内存数据库在性能要求高、访问频繁的系统中广泛应用，比如电商网站中的商品浏览记录，社交平台的用户会话数据等等。：因为支持丰富的数据结构、持久化、分布式等特性，Redis 更适合需要持久化的数据、复杂的操作或分布式架构的场景。在现代的应用中，数据库（如 MySQL）通常是数据存储的核心，但由于数据库的查询速度不如内存，直接访问数据库会影响应用的响应速度。由于 Redis 的内存数据库特性，它能实现对热点数据的快速响应，避免 MySQL 反复查询相同的数据，提升了用户的使用体验。
Redis中的缓存设计
m0_53926113的博客
11-12 775
例如，在一个电商网站上，某些商品信息的缓存同时设定了相同的过期时间，当这些缓存同时失效时，大量的用户请求将直接打向数据库，从而引发雪崩效应。在缓存前端添加一个布隆过滤器，将所有可能存在的数据存入其中，用户请求时先通过布隆过滤器判断，如果数据不在过滤器内，直接返回“无数据”，避免无意义的数据库查询。这种情况下，即使最终更新了数据库，缓存仍然可能保留旧数据，导致数据不一致。策略，即在更新数据时，先将数据写入缓存，而不立即更新数据库，而是等到特定时间点或条件触发时，将缓存中的数据批量写入数据库。
Redis8：商户查询缓存2
qq_63981644的博客
11-08 948
缓存穿透：是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库。举例：假设我们的店铺id是1~20，结果有人非要查询id为100的店铺，这明显是不合理的，于是就会出现如下情况：此时缓存中没有，去数据库查询也没有，于是这个不怀好意的人抓住了这个漏洞，搞了一堆线程来发送大量的请求，查询这个不存在的id，这些海量的请求都会打到数据库中，长时间一来，数据库就会垮掉（数据库速度不像redis那么快，可能打到数据库的请求一多，就会导致数据库垮掉）。
Java-Redisson分布式锁+自定义注解+AOP的方式来实现后台防止重复请求扩展
最新发布
兴趣是最好的老师
11-12 102
在需要加锁的方法上使用@DistributedLock注解，并在方法参数上使用@DistributedLockParam注。自定义注解：@DistributedLock 注解用于标记需要加锁的方法，但在这个例子中，它只是作为一。启动应用并测试接口。如果不使用AOP，可以在每个需要加锁的方法中手动添加Redisson分布式锁的逻辑。代码复用和解耦：通过AOP，可以在一个地方集中处理加锁的逻辑，而不需要在每个需要加锁的方。虽然手动添加分布式锁的逻辑在某些情况下是可行的，但为了提高代码的可维护性和复用性，建议。
Redis集群详解：架构与数据分片
本文主要关注Redis的集群架构及其分片管理，讲解了Redis如何通过多端口通信和数据分片实现高可用性和水平扩展。" 在Redis集群中，每个节点都需要两个TCP连接来维持其正常运作。第一个端口，通常是6379，作为客户端...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值