分布式存储--大规模订单架构设计

于 2022-11-12 19:16:21 发布
阅读量763 收藏
点赞数
分类专栏： 大数据 分布式 文章标签： 订单系统 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42002747/article/details/127824038
版权

架构一：MySQL+HBase+Elasticsearch
MySQL存储实时订单，HBase存储历史订单，Elasticsearch实现订单的多维度搜索。架构复杂，运维维护成本高

架构二：MySQL+Tablestore
Tablestore其实是HBase+Elasticsearch，既能存储大量数据，也能全文搜索

架构三：分布式数据库TiDB+全文搜索功能
参考文章

梦江河
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 实战 hbase创建订单（三）
02-04 922
from hbase import Hbase from thrift.transport import TSocket from hbase.ttypes import * def create_table(): # 定义列族 anchor_column=ColumnDescriptor(name='brand') client.createTable('order',[anchor_column]) def get_order_list(file): with open(
订单系统设计 --- SaaS订单中心存储方案
04stone37
10-14 1940
SaaS订单中心作用   为油站提供订单管理能力，管理线上（各种互联网加油平台，比如小桔加油、车主邦等）、线下等不同渠道的订单； 需求分析
何坤：基于内存数据库的分布式数据库架构
冯立彬的博客
09-29 630
【摘要】 本文提出了一种通过引入内存数据库层，建立两层多分区分布式数据库架构。此方案用于解决海量高并发系统的数据存储和访问问题，尤其适用于电子商务等数据模型复杂且业务复杂的互联网站。   这些年互联网站发展迅猛，为应对海量数据下的高并发访问，产生了各种分布式架构设计思想，例如Key-Value引擎，数据分区等。而对于电子商务类网站，海量数据问题还有一个重要特点，就是数据结构化及数据之间的关联，...
【交易架构day6】有赞订单交易系统的演进之路——如何存储海量订单数据
作一个独立连续的思考者
02-15 3241
按：交易系统一般以订单为核心，状态机做流程驱动。最近十年我们对订单的看法是正向流程承载的单据，今天有一个新观点——交易契约。交易的业务状态及流转、高可用、零资损等，是其主要的挑战。订单的海量存储是一个普遍的挑战，因为每天都会产生、生命周期从一天至一年不等，冷热数据差异明显。本文来自有赞交易中心、王爷的分享。 有赞订单管理主要承接有赞所有订单搜索及详情展示功能，系统随着业务的不断发展经历了多次飞升...
干货 | 万字长文详解携程酒店订单缓存 & 存储系统升级实践
携程技术
04-28 1499
作者简介荣华，携程高级研发经理，专注于后端技术项目研发管理。军威，携程软件技术专家，负责分布式缓存系统开发 & 存储架构迁移项目。金永，携程资深软件工程师，专注于实时计算，数据分析工程。俊强，携程高级后端开发工程师，拥有丰富SQLServer使用经验。前言携程酒店订单系统的存储设计从1999年收录第一单以来，已经完成了从单一SQLServer数据库到多IDC容灾...
分布式事务-hm.pdf
09-10
除了CAP理论，还有BASE理论，它提倡基本可用（BA），软状态（S）和最终一致性（E），更适合于大规模分布式系统，允许系统在部分故障时仍能提供服务，但可能需要一段时间达到数据一致性。 解决分布式事务的方法多样...
day09-分布式消息系统RocketMQ的入门.zip
01-29
1. **分布式消息系统**：分布式消息系统是解决大规模分布式应用之间异步通信的关键技术，它允许系统组件之间通过消息进行解耦通信，提高系统的可扩展性和容错性。 2. **RocketMQ架构**：RocketMQ采用主从复制模型，...
分布式架构设计概要总结.pdf
11-18
在互联网行业中，随着业务的快速发展，传统的单体架构逐渐无法满足大规模并发请求处理的需求。分布式架构成为了解决这一问题的关键。分布式架构设计的核心目标是增大系统容量，确保服务的高可用性。 一、构建分布式...
Java-高并发分布式淘淘商城.zip
最新发布
03-24
总结，淘淘商城的Java高并发分布式架构体现了现代电商系统的核心技术趋势，包括服务化、分布式存储、负载均衡、异步处理等多个层面。理解并掌握这些技术，对于构建大规模、高可用的电商平台具有重要意义。
订单中心，1亿数据架构，这次服了
shenjian58的博客
08-27 686
订单中心，是互联网业务中，一个典型的“多key”业务，即：用户ID，商家ID，订单ID等多个key上都有业务查询需求。随着数据量的逐步增大，并发量的逐步增大，订单中心这种“多key”业务...
大数据量下的订单架构设计方案
Joker
05-18 816
终于找到丢了的CSDN账号了= =,趁最近找工作没啥事写写博客吧..顺便回顾下最近的项目 分库分表 存储大量的订单最长想到的就是分库分表了,这应该也是最为常见的手段. 最简单的策略是根据用户ID去分表,比如取用户的ID做模运算(用户ID % 表数量 or 用户ID % 库数量) 我们使用的 sharding-jdbc 进行分库分表操作,sharding-jdbc它定位为轻量级Java框架,在Java的JDBC层提供的额外服务.它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理.
订单系统设计 --- 订单中心存储方案
04stone37
10-16 3182
目标   为某垂直领域的电商平台设计一个订单中心，用户、商家和运营可以对订单中心进行不同的操作； 需求分析 C端：访问量大，数据的实时性和一致性要求高，主要是订单列表和订单详情的查询； B端：访问量适中，对数据的实时性和一致性有一定容忍度，主要是B端展示的几个维度的分页查询； M端：访问量低，查询条件复杂多变，查询的数据量大，对系统可用性、数据的实时性和一致性等容忍度最高； 存储方案设计 ...
每天千万级订单的生成，数据库系统如何设计？订单系统架构如何设计？
博学谷狂野架构师的博客
06-14 1882
随着数据量的增长，一般db的架构，经历如下演进：1）单库主从2）单库双主多从架构3）分区表数据库层面做数据分区策略，对开发层透明。适用场景：适合订单场景，最后部分有热点数据，其他都是历史订单（不活跃）分区表的数据更容易维护，可以直接针对分区做删除、优化、检查、修复、备份等操作支持多硬件设备，不同分区分散到不同设备，如硬盘优化查询，只使用必要的分区来提高查询效率，涉及sum()和count()聚合查询时，也可以实现分区并发再汇总。局限性：数量上限，一个表最多只能有1024个分区...
大数据开发笔记（十）：Hbase列存储数据库总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-20 5882
Hbase--HBase 本质上是一个数据模型，可以提供快速随机访问海量结构化数据。利用 Hadoop 的文件系统（HDFS）提供的容错能 力。它是 Hadoop 的生态系统，使用 HBase 在 HDFS 读取消费/随机访问数据，是 Hadoop 文件系统的一部分。 HBase 是一个面向列的数据库，在表中它由行排序。表模式定义只能列族，也就是键值对。一个表有多个列族以及每一个列族可以有任意数量的列。后续列的值连续地存储在磁盘上。表中的每个单元格值都...
购物车与订单数据存储
细节决定成败
03-08 1296
购物车数据与订单数据是分两套表存储还是在同一套表里存储通过不同的状态来做区分？   IBM WCS 将购物车数据与订单数据放在一张表中，从实现的车层面来看，我觉得是个好的选择，原因如下： 1：购物车里面存放了购买的商品、商品数量、价格信息、优惠信息，与订单的存储结构、数据是相同的，是可以放在一起的，不是强制放在一起 2：业务实现过程简单，不需要再将相同的数据在多套表之间进行转移，只需...
HBase在滴滴出行的应用场景和最佳实践
热门推荐
imgxr的博客
06-19 1万+
作者简介：李扬，滴滴出行资深软件开发工程师。2015年加入滴滴出行基础平台部，主要负责HBase和Phoenix以及相关分布式存储技术。在滴滴之前，曾在新浪担任数据工程师，专注于分布式计算和存储。 责编：郭芮（guorui@csdn.net），关注大数据领域。 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》 背景对接业务类型HBase是建立在...
HBase 项目
Da.的博客
07-21 1122
1、涉及概念梳理：命名空间 1、 命名空间的结构 1) Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在 default 默认的命名空间中。 2) RegionServer group： 一个命名空间包含了默认的 RegionServer Group。 3) Permission： 权限，命名空间能够让我们来定义访问控制列表 ACL（Access ...
Hbase 表设计
似水流年
10-14 2282
HBase与RDBMS的区别在于：HBase的Cell（每条数据记录中的数据项）是具有版本描述的（versioned），行是有序的，列（qualifier）在所属列簇（Column families）存在的情况下，由客户端自由添加。以下的几个因素是Hbase Schema设计需要考虑的问题：   1、 Hbase中没有joins的概念 大表的结构可以使得不需要joins，而解决这一问题。
58到家订单中心架构演进：分与合的抉择
此外，这种架构演进还涉及到了数据仓库的设计，确保了大规模数据的高效处理和分析。通过构建数据仓库，可以实现对历史订单数据的深度挖掘，支持业务决策和运营优化。 58到家的订单中心架构从分散走向集中，旨在通过...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值