1到2亿条数据需要缓存，如何设计这个存储案例

已于 2023-08-01 15:49:37 修改
阅读量124 收藏
点赞数
分类专栏： redis 面试题 文章标签： 缓存 redis 数据库
于 2023-06-06 10:49:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32840277/article/details/130985112
版权

回答：单台服务器肯定不可能，肯定是分布式存储，使用redis的话该如何落地?

1.哈希取余分区

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
该方法不可取。

2.一致性hash算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
优点：
在这里插入图片描述
在这里插入图片描述
缺点：
在这里插入图片描述

3.哈希槽分区

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.Codis

逆光的July
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch亿级数据检索性能优化案例实战！
01-27
在本案例中，业务系统面临的问题是每日数据量过亿，需要跨月查询且支持1年以上的数据历史。为了解决这个问题，我们可以采取以下优化策略： 1. **合理分配分片和副本**：根据硬件资源和数据规模，合理设置每个索引的...
面对亿级订单数据的访问与存储，我们怎么实现与优化？
芋道源码
04-15 1623
今年以来，网络上时不时的就会传出“某某公司又裁员了，技术团队也被裁了”，其中不乏我们熟悉的一些大厂。在这之后，市场上的“技术劳动力”又多了起来，而且这些“劳动力”中有相当...
百亿数据百万查询——关系链架构演进
weixin_45583158的博客
06-09 562
本期作者刘鎏哔哩哔哩高级开发工程师一、关系链业务简介从主站业务角度来看，关系链指的是用户A与用户B的关注关系。以关注属性细分，以关注（订阅）为主，还涉及拉黑、悄悄关注、互相关注、特别关注等多种属性或状态。目前主站关系链量级较大，且还以较快速度持续增长。作为一个平台型的业务，关系链服务对外提供一对多关系点查、全量关系列表、关系计数等基础查询，综合查询峰值QPS近百万，被动态、评论等核心业务依赖。在持...
10分钟搞懂：亿级用户的分布式数据存储解决方案！
a676559201的博客
04-14 426
分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。 接下来，你将花费十分钟掌握以下三方面内容： 1、MySQL复制：包括主从复制和主主复制； 2、数据分片：数据分片的原理、分片的方案、分片数据库的扩容； 3、数据库分布式部署的几种方案。 一、MySQL复制 1.MySQL的主从复制 MySQL的主...
数据库单表数据过亿_亿级流量架构系列之如何支撑百亿级数据的存储与计算
weixin_39943101的博客
11-23 1892
“本文聊一下笔者几年前所带的团队负责的多个项目中的其中一个，用这个项目来聊聊一个亿级流量系统架构演进的过程。一、背景引入首先简单介绍一下项目背景，公司对合作商家提供一个付费级产品，这个商业产品背后涉及到数百人的研发团队协作开发，包括各种业务系统来提供很多强大的业务功能，同时在整个平台中包含了一个至关重要的核心数据产品，这个数据产品的定位是全方位支持用户的业务经营和快速决策。这篇文章就聊聊这个数据产...
1亿条数据需要缓存，怎么设计存储案例？
冲出仁川，走出马德里，故事还会再继续
01-14 2044
1亿条数据需要缓存，怎么设计存储案例？1、问题描述2、三种解决方案2.1 哈希取余分区2.2 一致性哈希算法分区2.2.1 一致性Hash简介2.2.2 一致性Hash能干嘛？2.2.3 三大步骤2.2.3.1 构建一致性哈希环2.2.3.2 服务器IP节点映射2.2.3.3 key落到服务器的落键规则2.2.4 一致性哈希算法的优点2.2.5 缺点：Hash环的数据倾斜问题2.2.6 总结2.3 哈希槽分区2.3.1 哈希槽简介2.3.2 哈希槽计算 1、问题描述 现在有1~2亿条数据需要缓存，如何设计这
行业-112 案例实战：亿级数据量商品系统的SQL调优实战（1）.rar
09-14
总结，亿级数据量商品系统的SQL调优是一项综合性的任务，涉及数据库设计、SQL编写、索引策略、缓存管理等多个层面。通过对这些方面进行深入理解和实践，可以显著提升系统性能，为用户提供更流畅的使用体验。
MySQL 亿级数据分页的优化
08-04
7. **数据库分片**：通过数据库分区或分片技术，将数据分布到多个物理存储上，每个部分的查询只涉及一部分数据。 在实际操作中，要根据业务需求和数据库规模选择合适的优化策略。此外，监控数据库性能，及时发现并...
115 案例实战：数十亿数量级评论系统的SQL调优实战（1）.pdf
04-15
之后，对筛选出的数据进行倒序排序，再利用`LIMIT`获取第5001页的20条评论，这个过程可能需要1到2秒的时间。 为了优化这个查询，可以考虑以下策略： 1. 创建一个复合索引：将`product_id`和`is_good_comment`组合...
行业-115 案例实战：数十亿数量级评论系统的SQL调优实战（1）.rar
09-14
在本案例实战中，我们将深入探讨在处理数十亿数量级评论数据时，如何进行SQL查询优化，以提高数据库系统的性能和效率。SQL调优是数据库管理中的关键环节，尤其是在大数据量场景下，优化SQL查询对于提升系统响应速度...
阿里大厂面试：2亿条数据需要缓存，如何设计这个存储方案？
互联网老辛
03-24 6796
阿里大厂面试
Hadoop 从入门到精通----leo学习编程不良人视频的笔记--part01
狗剩的专栏
12-14 666
Hadoop 从入门到精通----编程不良人 ( 25 小时 ) https://www.bilibili.com/video/BV17E411g7F2 // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A c
缓存与分布式锁
太白
07-14 687
Spring Cache利用了AOP，实现了基于注解的缓存功能，并且进行了合理的抽象，业务代码只需要简单地加一个注解，就能实现缓存功能了。
java包装类 及其缓存
larance的挨踢生活
07-16 392
包装类 自动拆箱 自动装箱。
Spring-Cache 缓存
qq_53374893的博客
07-14 415
保存的数据为json格式常规数据（读多写少，即时性，一致性要求不高的数据 ）：完全可以使用springcache(写模式：只有数据有过期时间 就完全足够了 这样可以保证数据的最终一致性)特殊数据 （特殊设计）例如 canal 感知数据库去更新 缓存。
ubuntu虚拟机安装ssh时报错 正在等待缓存锁
shiyq的技术小白博客
07-15 204
连接vm ubuntu虚拟机安装ssh时报错 正在等待缓存锁。
HTTP缓存/强缓存/协商缓存
最新发布
qingdouxiaohua的博客
07-16 382
HTTP缓存是指当客户端（如浏览器）向服务器请求资源时，如果资源已经缓存在本地（如浏览器缓存或代理服务器缓存），则可以直接从缓存中获取资源，而无需再次从原始服务器下载。这样可以减少网络延迟和带宽消耗，提高页面加载速度。HTTP缓存的工作原理主要依赖于HTTP请求和响应报文头中的特定字段，这些字段用于控制缓存的策略和有效性。
MyBatis框架学习笔记（四）：动态SQL语句、映射关系和缓存
2301_76144723的博客
07-15 744
在一个实际的项目中，sql语句往往是比较复杂的为了满足更加复杂的业务需求，MyBatis的设计者，提供了动态生成SQL的功能。
浏览器的缓存
weixin_50012993的博客
07-15 648
浏览器缓存是指浏览器在访问网页时将一些数据（如HTML、CSS、JavaScript文件、图像等）存储在客户端本地的临时存储空间中。这样，在用户再次访问同一个页面时，浏览器可以直接从缓存中加载这些数据，而无需重新从服务器下载。提升性能和加快加载速度：通过使用缓存，浏览器避免了重复下载相同的资源文件，减少了服务器的负担和网络传输时间，从而加快了页面加载速度。减少网络流量和节省带宽。
揭秘双11万亿流量下Tair分布式缓存技术的发展与应用
"《藏经阁-双11万亿流量下的分布式缓存--Tair技术揭秘》是一份来自阿里云存储技术事业部的专业报告...这份报告深入剖析了Tair如何在海量数据处理和分布式缓存中发挥作用，为其他企业和技术团队提供了重要的参考案例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值