1万属性，100亿数据，每秒10万吞吐，架构如何设计？

最新推荐文章于 2024-10-05 12:07:50 发布
最新推荐文章于 2024-10-05 12:07:50 发布
阅读量151 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjEyNjc0OQ==&mid=2247498863&idx=2&sn=aa3cea7284f9aa80545c1bef53ccc23e&chksm=fb846c1dccf3e50b48d8549310d16448f0898377c42799444400c1e1b588436d9c0f9a57d87c&scene=126&&sessionid=0
版权

海量数据 分类信息 存储架构 检索策略 高吞吐
关键词由CSDN通过智能技术生成

285ef8aa79421a92d294c884c23772c9.png

若有收获,请记得分享和转发哦

有一类业务场景，没有固定的schema存储，却有着海量的数据行数，架构上如何来实现这类业务的存储与检索呢？

1万属性，100亿数据，10万吞吐，今天和大家聊一聊，这一类“分类信息业务”架构的设计实践。

一、背景描述及业务介绍

什么是分类信息平台最核心的数据？

一个分类信息平台，有很多垂直品类：招聘、房产、二手物品、二手车、黄页等等，每个品类又有很多子品类，不管哪个品类，最核心的数据都是“帖子信息”。

画外音：像不像一个大论坛？

427266efb00ea347e4d3fcb31039144e.png

ae21a0d4b11a1d1122d39782e40625bb.png

48d95fe6a03c66ec6ae3ca43e206cc67.png

0d83ee958c643e04dd0884ac06a8fcdb.png

dbeddb48a917f875dea13eeb62e69b67.png

b280c5ed14177715bc99c0102cf1cec5.png

d93298c9430b1dd1fff84c0ee311cc02.png

f486e796eb9c2d8f45edae531d000bee.png

09080d2fa1c39b30d46c6efe54fd2dae.png

8471f55a5a0fc4eacb64b70140becdef.png

9c590b8e6fb05f9251bdf6b60086b36a.png

43aa1ead20944ddc5d61130e43ff9fcd.png

16322df7aeb23f4a2e33c3a1a10dd29f.png

75c330b695ae846a8a0110c9da787708.png

f000e9d3d791c374b1aae013d46e73e3.png

4c574a7bf780ee2061c7baf212e1bdda.png

0006d66605698864e6fc3fc18237fced.png

633f138120b559bfa267ac9c7779691d.png

7a409fc52757fe29cee79164afbb35a0.png

007bf171cc2512f2cf54b6819c38ba16.png

b6c2efb470825f35fac6859ffdd86715.png

9e3254668f1c22d73f0a343f7e47d449.png

IT技术精选文摘
关注
消息中间件学习总结（7）——RocketMQ之万亿级数据洪峰下的分布式消息引擎
科技D人生
10-16 2304
前言 通过简单回顾阿里中间件(Aliware)消息引擎的发展史，本文开篇于双11消息引擎面临的低延迟挑战，通过经典的应用场景阐述可能会面临的问题 - 响应慢，雪崩，用户体验差，继而交易下跌。为了应对这些不可控的洪峰数据，中间件团队通过大量研究和实践，推出了低延迟高可用解决方案，在分布式存储领域具有一定的普适性。在此基础上，通过对现有有限资源的规划，又推出了分级的容量保障策略，通过限流、降级，甚至...
100亿数据1万属性数据架构设计
03-01
面对100亿数据量，1万列属性，10万吞吐量的业务需求，采用元数据服务、属性服务、搜索服务来解决。
《架构师之路》100亿数据1万属性数据架构设计
dark
01-20 166
《架构师之路》 学习笔记 https://www.w3cschool.cn/architectroad/architectroad-data-architecture-design.html version + ext方案 本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的“常用手段”。 一、背景描述及业务介绍 问：什么是数据库扩展的version + ext方案？ 使用ext来承载不同业务需求的个性化属性，使用version.
实现秒传与限速！深度解析万亿GB网盘系统架构
逆流的小鱼
06-04 1266
在设计一个面向万亿GB的网盘系统时，我们需要首先明确系统的核心功能需求。
如何扛住100亿次请求？后端架构应该这样设计！
朱小厮的博客
08-11 6210
点击上方“朱小厮的博客”，选择“设为星标”回复”1024“获取独家整理的学习资料1. 前言前几天，偶然看到了 《扛住100亿次请求——如何做一个“有把握”的春晚红包系统”...
100亿数据量1万属性数据库架构设计
10-21
在处理100亿数据量、10万并发和1万属性的数据库架构设计时，首先需要面对的是海量数据和高并发读写带来的挑战。此外，考虑到任意字段都可能进行组合查询，这就要求数据库架构不仅要能够存储大量数据，还要能够快速...
C语言 | 第十章 | 函数 作用域
最新发布
ZJC744575的博客
10-05 889
为完成某一功能的程序指令(语句)的集合,称为函数。在C语言中,函数分为:自定义函数、系统函数(查看C语言函数手册)函数还有其它叫法，比如方法等，在本视频课程中，我们统一称为 函数。返回类型 函数名（形参列表）{执行语句...;// 函数体return 返回值;// 可选形参列表：表示函数的输入函数中的语句：表示为了实现某一功能代码块函数可以有返回值,也可以没有, 如果没有返回值，返回类型 声明为 void。
JavaScript ArrayBuffer的读写与类型转换
白瑕 的博客
10-01 438
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
Spring Cloud全解析：服务调用之OpenFeign集成OkHttp
Lxn2zh的博客
09-30 832
HTTP连接需要进行TCP三次握手，是一个比较耗时的操作，一般我们不直接使用HttpURLConnection，而是使用HttpClient/okHttp等支持连接池的客户端工具，以Feign集成OkHttp为例。OpenFeign本质是HTTP来进行服务调用的，也就是需要集成一个Http客户端。默认是HttpURLConnection方式，也就是jdk中提供的最原始的那个。要开启OkHttp ,还需要在YML 中添加开启配置项，默认是关闭的。使用的是Client接口来进行请求的。
java将word转pdf
紫月7575的博客
09-30 527
java将word转pdf
spring-boot 整合 mybatis
m0_72168501的博客
09-29 543
spring boot 整合 mybatis
Java内存布局
阿呆的专栏
10-01 801
64位 JVM 不启用指针压缩时：Object Header 大小是16字节。64位 JVM 启用指针压缩时（默认）：Object Header 大小是12字节。32位 JVM：Object Header 大小是8字节。JVM在默认情况下启用指针压缩，但如果堆内存超过32GB，就会禁用指针压缩。32GB是压缩指针的最大寻址范围。超过32GB的堆内存中，压缩指针带来的性能提升并不显著，而且需要解压指针反而可能增加开销。
C#基础：掌握控制流语句，构建灵活的程序逻辑
学习和分享
09-28 339
在C#中，控制流语句是用来控制程序执行流程的重要部分。它们允许你根据条件执行不同的代码块，或者重复执行某些代码块直到满足特定条件。
100亿数据与1万属性：高并发下的数据架构解析
帖子信息的特点包括属性多样化、数据量庞大（100亿级别）、查询需求复杂且并发量极高（每秒10万级别）。这些特性带来了巨大的技术挑战，需要有效解决属性扩展、多属性组合查询以及高并发查询等问题。 三、面对挑战...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值