【架构实战营】模块四 3.存储架构模式 - 分片架构和分区架构

最新推荐文章于 2024-08-31 23:25:47 发布
最新推荐文章于 2024-08-31 23:25:47 发布
阅读量1k 收藏
点赞数 1
分类专栏： # 架构实战训练营 文章标签： 架构 系统架构 微服务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jia970426/article/details/123413041
版权
本文深入探讨了分片和分区架构的设计核心，包括分片规则、路由策略以及高可用方案。讲解了分片架构中的动态路由、独立备份和互相备份策略，同时阐述了分区架构的本质、全局路由如DNS和GSLB，以及不同备份策略的对比。旨在帮助读者掌握这两种存储架构模式以提升系统的性能和高可用性。
摘要由CSDN通过智能技术生成

教学目标

  1. 掌握分片架构的设计和本质
  2. 掌握分区架构的设计和本质

目录

  1. 分片架构
  2. 分区架构

分片架构

分片架构的本质

在这里插入图片描述

分片架构设计核心

在这里插入图片描述

分片架构设计核心 - 分片规则

在这里插入图片描述

分片架构设计核心 - 路由规则

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
qxlxi
关注
专栏目录
订阅专栏
【架构实战营】业务架构师结营 复盘
日拱一卒，不期速成！
04-10 5245
复盘 将近2个多月的业务架构实战营已经学习完毕，上面是自己在学习过程中梳理的思维导图。其实华仔的架构课，我理解的话，更多的是站在业务的角度上去思考如何运用技术去落地实现。 第一章 架构能力为什么难以提升 1.首先讲述的是架构是什么，一个系统中存在多个概念（系统、子系统、模块、组件、框架、架构）的本质概念，以及架构存在那些相关的角色（4R）。 2.按照不同的领域划分，存在不同的架构。客户端架构、后端结构等等，以及不同维度的划分，应用架构、部署架构等。在面对不同的场景时，UML的展现是不同的。 3.在介绍软.
架构实战营模块一作业
zhaoenweiex的博客
04-05 2442
前言 虽然老师说一般架构图可以使用 PPT 画，但个人还是喜欢 processon 来画，真的比 PPT 要好使，而且里面积累了不少素材，所以这次还是用 proccesson 吧。 微信业务架构图 题目是绘制微信的业务架构图，应该是主要考察同学们对于业务粒度和覆盖度的把握，而不是对于微信业务的理解程度。以下是一些个人的理解，微信作为腾讯集团主要的流量入口，集成了了集团内部几乎所有的功能，粗看微信本身的业务并不复杂，自身主要集中到社交领域，但作为局外人其实分不太清楚，腾讯内部微信与其他应用之间的边界，比如微信
Mongo分片集群搭建
UnionIBM的博客
09-24 547
当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据 为什么使用分片 复制所有的写入操作到主节点 延迟的敏感数据会在主节点查询 单个副本集限制在12个节点 当请求量巨大时会出现内存不足。 本地磁盘不足 垂直扩展价格昂贵
架构模式：分片
01-03 1549
分片是管理大规模数据库的有效架构模式。分片是一种数据库架构模式，涉及将数据库划分为更小、更快、更易于管理的部分，称为分片。例如，在 Web 应用程序中，用户身份验证数据可以存储在一个分片中，而用户活动日志存储在另一个分片中，从而优化频繁访问的表的性能。描述：水平分片，也称为数据分片，涉及将数据库表划分到多个数据库或数据库实例。每个分片包含相同的表模式，但保存不同的数据子集，通常根据分片键进行分割。此方法通常用于将数据库分成更小、更易于管理的部分，每个分片专用于与应用程序的特定方面相关的特定表或表组。
mongo分片架构搭建
长裙小短腿的博客
09-21 397
分片架构是在复制集基础之上形成的 分片架构，一般都是两台机器一个片 仲裁无所谓，每个片的仲裁都可以同时放在一台机器上 config需要一台单独的机器 mongos（路由）是一个客户端的路由，放在应用服务器上就可以了   生产中至少：主从4台，config1台+仲裁1台=6台 一个复制集叫做一个分片，一个分片被称之为一个复制集 客户端是看不见分片的 路由管分配，然后通过路由找c...
【企业架构设计实战】技术架构设计指南
热门推荐
程序员光剑
02-08 1万+
提到非功能性，技术架构可能涉及多个方面，如稳定性、可扩展性、一致性、可移植性、兼容性、可配置性、可降级性、可部署性、可发现性、故障透明性、容错性、可检验性、可安装性、完整性、可维护性、可管理性、模块性、可操作性、可恢复性、可靠性、重现性、弹性、可复用性、稳健性、安全性、可服务性、合规性、可持续性、可测试性、可追溯性等。很多企业在发展初期，在技术方面的投入并不大，主要以外采系统为主，包括CRM、MES、ERP、HR、PLM、SCM等系统，各个系统各自独立，各自有单独的数据库及权限管理。
深入浅出 -- 系统架构之单体到分布式架构的演变
xiaoli8748的专栏
04-04 1335
同时，就算部署业务程序的机器损坏，也不会丢失系统数据，在一定程度上也提升了系统的抗风险性。显然，这种方式虽然成本低，数据交换快，但并不能支撑太大的访问量，当流量增大时，系统很可能因为CPU、内存、带宽、磁盘等各因素出现性能问题，而一旦遇到瓶颈，为了保证系统正常运行，集“前端、后端、运维、测试、售后……以数据库为例，数据库由于并发影响，读取数据越来越慢，所以阻塞在后端服务中等待数据返回的请求越来越多，入站流量远大于出站流量，长此以往，后端服务线程数超负荷，系统再次出现响应缓慢、无返回等严重事故。
大规模分布式存储系统：原理分析与架构实战
09-24
3. **元数据管理**：元数据包括文件的属性信息、分片位置等，元数据管理模块负责维护这些信息，并提供快速的数据定位服务。元数据可以集中管理，也可以分布式存储，以平衡查询效率和系统扩展性。 4. **数据一致性**...
Spark入门实战系列--4.Spark运行架构
yirenboy的专栏
08-19 6105
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。
MongoDB：海量存储基础-分片架构
BoringError的博客
12-11 4132
分片是数据库中常用的提升存储容量的方式，它基于水平拓展的思想，将大量的数据按一定规则分配到不同的服务器中存储，比如MySQL集群可以借助Sharding-JDBC等外部框架对数据进行分片存储，而MongoDB则提供了原生的分片能力支持。
小马哥JAVA实战营-Java EE单体架构
qq_43259860的博客
06-22 1770
Servlet 是一种基于 Java 技术的 Web 组件，用于生成动态内容，由容器管理。类似于其他 Java 技术组件，Servlet 是平台无关的 Java 类组成，并且由 Java Web 服务器加载执行。通常情况，由 Servlet 容器提供运行时环境。Servlet 容器，有时候也称作为Servlet 引擎，作为Web服务器或应用服务器的一部分。通过请求和响应对话，提供Web客户端与 Servlets 交互的能力。容器管理Servlets实例以及它们的生命周期。
《微服务架构设计模式》的一点总结
weixin_45583158的博客
07-30 284
经常翻阅微服务材料的话，总会碰到 microservices.io 这个网站，总结了微服务方方面面的设计模式。网站的作者是 Chris Richardson。这些相关的经验在 2018 年...
架构实战营作业二之朋友圈的高性能设计
zhaoenweiex的博客
04-18 1485
题目 思路 业务规模调查 性能分析TPS+QPS 场景分析 总体高性能设计 总结
【架构实战营】模块六 4.微服务拆分技巧
日拱一卒，不期速成！
03-23 1173
教学目标 掌握微服务落地的总体思路 掌握按业务拆分微服务的技巧 掌握按质量属性拆分微服务的技巧 兵无常势，水无常形！ 目录 微服务整体架构思路 如何按业务拆分微服务 如何按质量属性拆分微服务 1. 微服务架构整体思路 微服务架构整体思路 常见场景实施建议 2. 如何按业务拆分微服务 DDD 概要介绍 DDD 难以落地的核心问题 实际项目中的业务边界划分(1/2) 实际项目中的业务边界划分(2/2) 实际项目中的服务拆分 服务拆分技巧 服务拆分技巧 - 三个火枪手原则 三个火枪手案例
分片架构-粉丝关注，数据冗余
qq_33522157的博客
09-22 244
数据冗余，是多对多关系，在数据量大时，数据水平切分的常用实践。 如何进行数据冗余 接下来的问题转化为，好友中心服务如何来进行数据冗余，常见有三种方法。 方法一：服务同步冗余 顾名思义，由好友中心服务同步写冗余数据，如上图1-4流程： 业务方调用服务，新增数据 服务先插入T1数据 服务再插入T2数据 服务返回业务方新增数据成功 ...
B站疯传！堪称最强！一整套架构实战资料，白拿不谢！
xmt1139057136的专栏
09-15 698
金九银十找工作黄金季，因为疫情，上半年找时间看完了下面这10个视频，收获真的不小！这套视频原价1800元，现在免费给你！希望你能有所收获！进个大厂！视频目录01-大规模分布式存储系统...
架构训练营学习笔记：4-3存储架构模式之分片架构和分区架构
bohu83的博客
07-16 542
GSLB：非标准，需要独立开发部署，功能非常强大，可以做状态监测、基于业务规则的定制路由。这个没看过，不太熟悉，从效果上基于地理位置的流量负载多数据中心外，还具备检测状态。主键 ：适合主业务数据，例如数据库分片常用的用户ID、订单ID，Redis分片的key，MongoDB的文档ID。这里是原则，具体落地得验证，比如订单ID之前遇到老的雪花算法，偶数偏多，数据不均匀，该怎么处理？分片架构能提升写性能和存储性能，对应的主备架构的本质是备份，主从架构本质提升读性能。缺点：成本高，每个分区需要独立的备份中心。
存储架构模式-分片架构和分区架构
最新发布
huanfeng_AI的博客
08-31 355
分片架构就可以解决主从复制存在的问题，如果主机能够承担写的性能，那么主从就够了，如果不能，那么就需要分片架构了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qxlxi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值