5大主流方案对比：MySQL千亿级数据线上平滑扩容实战

已于 2024-02-18 15:51:02 修改
阅读量578 收藏 29
点赞数 18
分类专栏： 设计方案收录 文章标签： mysql oracle 数据库
于 2024-01-29 09:40:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seaskyccl/article/details/135905197
版权
本文详细对比了五种数据库扩容方案，包括停机、停写、日志、双写和平滑2N方案，并重点介绍了平滑2N方案的实践过程，包括应用服务动态扩容、数据库秒级平滑2N扩容以及Keepalived高可用配置。通过MariaDB双主同步和Keepalived服务，实现了数据库的无缝扩容和高可用性。
摘要由CSDN通过智能技术生成
  1. 1. 五个方案
  2. 1.1 停机方案
  3. 1.2 停写方案
  4. 1.3 日志方案
  5. 1.4 双写方案（中小型数据）
  6. 1.5平滑2N方案（大数据量）
  7. 2.  平滑2N扩容方案实践
  8. 2.1  实现应用服务级别的动态扩容
  9. 2.2  实现数据库的秒级平滑2N扩容
  10. 3.keepalived高可用配置大全
  11. Server1和Server2双主关系
  12. 新增数据库VIP
  13. Server1和Server3双主关系
  14. Server2和Server4双主关系

在项目初期，我们部署了三个数据库A、B、C，此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配，我们在Service服务层使用uid%3进行取模分片，从而将数据平均分配到三个数据库中。

如图所示：

后期随着用户量的增加，用户产生的数据信息被源源不断的添加到数据库中，最终达到数据库的最佳存储容量。如果此时继续向数据库中新增数据，会导致数据库的CRUD等基本操作变慢，进

了解本专栏 订阅专栏 解锁全文 超级会员免费看
seaskyccl
关注
专栏目录
订阅专栏
SaaS、PaaS、IaaS云服务模式和商业云平台设计与建设方案
悦分享
07-05 4192
使用的PaaS服务包括，MySQL云数据库、MongoDB云数据库，使用统一的数据访问层，研发人员可以无需考虑数据库的底层架构、可用性、扩展等问题，完全透明，将精力专注在项目研发即可。管理端用于管理应用、用户、权限， 管理后台数据和重要的信息设置等。​PaaS 云服务提供商不可能安装全部的语言、数据库、中间件和运行库来支持所有的应用软件，因此目前普遍的做法是安装主流的语言、数据库、中间件和运行库，使得出租的 PaaS 容器支持有限的、使用量排名靠前的应用软件以及支持最流行的编程语言，并在网站上发布公告。
数据库扩容也可以如此丝滑，MySQL千亿级数据生产环境扩容实战
博学谷狂野架构师的博客
07-18 768
1理解传统扩容实现方案2理解平滑扩容双写方案3掌握数据库2N扩容方案4实现数据库双主同步5掌握ShardingJDBC路由以及动态扩容技术6掌握KeepAlived+MariaDB数据库高可用方案。
5 大主流方案对比：MySQL 千亿级数据线上平滑扩容实战
民工哥的博客
03-31 164
点击关注公众号，Java干货及时送达????在项目初期，我们部署了三个数据库A、B、C，此时数据库的规模可以满足我们的业务需求。为了将数据做到平均分配，我们在Service服务层使用uid%3进行取模分片，从而将数据平均分配到三个数据库中。如图所示：后期随着用户量的增加，用户产生的数据信息被源源不断的添加到数据库中，最终达到数据库的最佳存储容量。如果此时继续向数据库中新增数据，会导致数据库的CRUD等基...
MySQL数据库水平扩容方案
weixin_33717117的博客
04-08 1791
数据库水平扩容简述 一、 背景 随着云技术的不断发展，存储资源和计算资源的成熟，成本不断下降，使得企业开发部署提供服务更加的便捷。得益于此，对于高速发展的中小型企业，可以通过不断地堆砌机器，增加应用集群来应对不断增长的流量。 但是随着企业的不断发展，其中一个瓶颈并不能简单地通过堆砌机器来解决，这便是越来越庞大的数据库带来的性能天花。而应对...
6种MySQL数据库平滑扩容方案剖析
BASK2311的博客
11-18 1867
但是在极限情况下， 即便通过上面的数据校验处理， 也有可能出现99.99%数据一致， 不能保障完全一致，这个时候可以在旧库做一个readonly只读功能， 或者将流量屏蔽降级，等待日志增量同步工具完全追平后， 再进行新库的切换。日志增量同步过程随时可能会产生新的数据， 新库与旧库的数据追平也会是一个无限逼近的过程。修复切换异常数据：在切换过程中， 如果出现，Canal未同步，但已切换至新库的请求（比如下单，修改了资金， 但还未同步 ）， 可以通过定制程序， 读取检测异常日志，做自动修复或人工处理。
Mysql学习笔记---MySQL集群架构之扩容方案
qq_39314972的博客
12-20 1801
Mysql学习笔记—MySQL集群架构之扩容方案 1.扩容场景描述 当系统用户进入了高速增长期时，即便是对数据进行分库分表，但数据库的容量，还有表的数据量也总会达到天花板。当现有数据库达到承受极限时，就需要增加新服务器节点数量进行横向扩容。 思考一下，横向扩展会有什么技术难度？ 数据迁移问题 分片规则改变 数据同步、时间点、数据一致性 遇到上述问题时，我们可以使用以下两种方案： 停机扩容 平滑扩容 2.停机扩容： 可用性还是受影响的 这是一种很多人初期都会使用的方案，尤其是初期只有几台数据
MySQL海量数据存储与优化（上）
weixin_41274719的博客
01-19 1182
MySQL起源和分支 MySQL 是最流行的关系型数据库软件之一，由于其体积小、速度快、开源免费、简单易用、维护成本 低等，在集群架构中易于扩展、高可用，因此深受开发者和企业的欢迎。 Oracle和MySQL是世界市场占比最高的两种数据库。 IOE：IBM的服务器，Oracle数据库，EMC存储设备。都是有钱的公司产品采购，例如银行、电信、石 油、证券等大企业。 Oracle：垄断，有钱的大企业采用，互联网企业之外使用第一。 MySQL：互联网高速发展，互联网企业使用第一。 My
Mysql体系化学习总结
czh1230340213的博客
07-17 588
第一部分架构原理 第一节体系架构: MySQL Server架构自顶向下大致可以分1网络连接层、2服务层、3存储引擎层和4系统文件层 1.网络连接层 提供与MySQL服务器建立的支持 2.服务层 服务层是MySQL Server的核心，主要包含1.系统管理和控制工具2.连接池3.SQL接口4.解析器5.查询优化器6.缓存六个部分 3.存储引擎层 负责MySQL中数据的存储与提取，与底层系统文件进行交互 4.系统文件层 该层负责将数据库的数据和日志存储在文件系统之上，并完成..
MySQL 数据库平滑扩容方案剖析 - 第一篇
papaya的博客
11-24 305
此时由于分片规则发生了变化（uid%3 变为 uid%4），导致大部分的数据，无法命中原有的数据，需要重新进行分配，要做大量的数据迁移处理。新加入 D 库后， 现在uid=3 取模 3%4=3，变成分配在 D 库上，但是读取的话D库上肯定不存在uid为3的数据，必须把旧数据都迁移正确才行。为了进行数据的重新拆分，在停止服务之前，我们需要提前通知用户，比如：我们的服务会在 yyyy-MM-dd 进行升级，给您带来的不便敬请谅解。将旧库中的全部数据按照新的哈希算法，将数据重新分配，更新到正确的数据库。
mysql扩容方案_MySQL数据库水平扩容方案-阿里云开发者社区
weixin_39668408的博客
01-27 484
数据库水平扩容简述一、背景随着云技术的不断发展，存储资源和计算资源的成熟，成本不断下降，使得企业开发部署提供服务更加的便捷。得益于此，对于高速发展的中小型企业，可以通过不断地堆砌机器，增加应用集群来应对不断增长的流量。但是随着企业的不断发展，其中一个瓶颈并不能简单地通过堆砌机器来解决，这便是越来越庞大的数据库带来的性能天花。而应对这个天花板的有效手段之一，就是通过对数据库的分库分表，使得单表的数据...
架构组件：基于Shard-Jdbc分库分表，数据库扩容方案
【积累】，是一个长期持续的过程。
05-22 2154
架构组件：基于Shard-Jdbc分库分表，数据库扩容方案 一、数据库扩容 1、业务场景 互联网项目中有很多“数据量大，业务复杂度高，需要分库分表”的业务场景。 这样分层的架构 （1）上层是业务层biz，实现业务逻辑封装； （2）中间是服务层service，封装数据访问； （3）下层是数据层db，存储业务数据； 2、扩容场景和问题 当数据量持续新增，面临着这样一些需求，两台数据库无法容纳，需要数......
mysql扩容方案及实践
wjl31802的博客
05-20 1803
1. 扩容问题 项目初期，部署了数据库A及其从机A0，B及其从节点B0，为将数据平均分配，在service层，使用uid%2取模分片(可采用sharding JDBC)，将数据分配到对应的数据库。如下图 随着用户量的增大，用户产生的数据量最终达到数据库的最佳存储容量，需要进行扩容，否则CRUD操作会变慢，影响服务的响应速度。 如何平滑的扩容，保证业务的连续性和高可用，对业务影响最小？ 2. 解决方案 先把A0和B0升级为新的主库节点，如此，由2个分库变为4个分库。同时在上层的分片配置，做好映射，规则如下
mysql自动备份_windows mysql 自动备份的几种方法
weixin_33199315的博客
01-18 327
转自：http://www.cnblogs.com/liongis/archive/2013/03/12/2956573.html1、复制date文件夹备份============================假想环境：MySQL 安装位置：C:\MySQL论坛数据库名称为：bbs数据库备份目的地：C:\db_bak\============================新建db_bak....
基于SpringBoot+Vue+MySQL的养老院管理系统
程序员大金的博客
09-20 843
基于SpringBoot+Vue+MySQL的养老院管理系统，附源码。
Mysql梳理7——分页查询
haozihua的博客
09-22 464
注意：MySQL 8.0中可以使用“LIMIT 3 OFFSET 4”，意思是获取从第5条记录开始后面的3条记录，和“LIMIT 4,3;如果我们知道返回结果只有 1 条，就可以使用 LIMIT 1 ，告诉 SELECT 语句只需要返回一条记录即可。背景1：查询返回的记录太多了，查看起来很不方便，怎么样能够实现分页查询呢？背景2：表里有 4 条数据，我们只想要显示第 2、3 条数据怎么办呢？所谓分页显示，就是将数据库中的结果集，一段一段显示出来需要的条件。第二个参数“行数”指示返回的记录条数。
MYSQL SWAP 内存 vm.swappiness
jnrjian的博客
09-20 978
关于 vm.swappiness 的困惑来自于这样一个事实：在较旧的 Red Hat 内核中，vm.swappiness 的值为 0 会导致最少量的交换以避免内存不足的情况。在较新的内核中（从 RHEL 内核 2.6.32-303 开始​​），值为 0 将完全禁用交换，但值为 1 将提供最少量的交换以避免内存不足的情况。在较旧的内核中，0 和 1 之间的实际差异并不大，但 1 是避免较新内核中出现 OOM 情况的安全设置（当然，假设有一些交换空间可用）。考虑到系统自动将未使用的页面交换到磁盘。
Linux递归找出目录下最近被修改文件（最近一段时间内被修改过的最新文件）（最近修改文件、最新文件、查找文件）（监控目录、监控mysql文件）
最新发布
Dontla的博客
09-26 553
目录下最近60分钟内修改的最新文件。如果你需要查找的时间范围不同，可以调整。表示最近10分钟）。
Web+Mysql——MyBatis
qq_73643693的博客
09-20 1484
MyBatis 是一款优秀的持久层框架，用于简化 JDBC 开发MyBatis 本是 Apache 的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis。2013年11月迁移到Github官网：https://mybatis.org/mybatis-3/zh/index.html负责将数据到保存到数据库的那一层代码。以后开发我们会将操作数据库的Java代码作为持久层。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

seaskyccl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值