mysql- 如何对数据库进行分库分表，不允许停止服务

已于 2022-02-16 18:17:13 修改
阅读量929 收藏 4
点赞数 2
分类专栏： mysql 文章标签： 数据库 mysql database
于 2022-02-07 11:47:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38805083/article/details/122806640
版权
  • 如何对数据库进行分库分表，不允许停止服务
  • 方案1-2(参考下文中的第二，第三方案)
  • 方案3
    • 第一阶段： 编写代理层和DAO层，代理层动态开关，决定写的是新表还是旧表，此时流量仍然是访问旧表
      image
    • 第二阶段： 开启双写，增量数据同时在旧表和新表进行新增和修改，日志或者临时表写入新表id的起始值，旧表中小于这个id值的数据就是存量数据
      image
    • 第三阶段：进行增量数据同步，通过脚本通过分页将存量数据同步到新库
      image
    • 第四阶段： 停读旧表，改读新表，此时新表已经承担了所有读写业务，但是不能停止写旧表，需要双写一段时间
      image
    • 第五阶段：读写一段时间新表后，没有发生问题，可以停止写旧表
      image
  • reference
一条闲鱼_mytube
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
ShardingJdbc笔记-主从复制-读写分离-分库分表
GUYyyy的博客
03-24 863
测试代码：https://gitee.com/ylbuu/sharding-jdbc 安装MySQL 资源连接：https://repo.mysql.com/yum/mysql-5.7-community/el/7/x86_64/ 配置MySQL扩展源 rpm -ivh https://repo.mysql.com/yum/mysql-5.7-community/el/7/x86_64/mysql57-community-release-el7-10.noarch.rpm yum安装MySQL yum.
【干货】分库分表最佳实践
weixin_72753070的博客
08-02 562
MySQL单表（innoDB）可以存储10亿级数据，只是这时候性能比较差，业界公认MySQL单表容量在1KW以下是最佳状态，因为这时它的BTREE索引树高在3~5之间。1.单表行数超过500万行或者单表容量超过2GB，才推荐进行分库分表；如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。2.实际情况受mysql机器配置等多方面影响，可能数据量很大但性能依旧不错，但考虑后续发展一定要进行分库分表考虑。如何高效的使用分库分表，核心是做到尽量的路由到最少的表，最好是只路由到一个表里面。...
MySQL不停机不锁表主从同步与读写分离配置
01-02
MySQL不停机不锁表主从同步与读写分离配置,1 .xtrabackup安装.2.核对mysql的版本.3.在master服务器上在线备份数据库.4.slave机器上操作
多图详解：如何不停服分库分表
JAVA前线技术专栏
08-30 608
欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，同时欢迎大家加我个人微信「java_front」一起交流学习 1 理论知识 1.1 分库分表是否必要 分库分表确实可以解决单表数据量大这个问题，但是并非首选。因为分库分表至少引入了三个必须解决的突出问题。 第一是分库分表方案本身具有的复杂性。第二是本地事务失效问题，原本在同一个数据库中可以保证强一致性业务逻辑，分库之后事务失效。第三是难以聚合查询问题，因为分库分表后查询条件中必须带有s.
MySQL篇——详细分库分表原理，深入解读分库分表时机、策略以及生产解决方案！
最新发布
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
06-06 1174
MySQL分库分表是为了解决大规模数据的存储和查询问题。当一个应用的数据量逐渐增大，单个数据库可能无法满足存储和查询的需求，这时就需要进行分库分表。分库指的是将数据按照一定的规则拆分到多个数据库中，每个数据库中存放一部分数据。通过分库可以提升存储的能力，每个数据库可以存储更多的数据量。分表指的是将一张大表按照一定的规则拆分成多个小表，每个小表只存放一部分数据。通过分表可以提升查询的性能，每个小表查询的数据量较少，查询速度更快。
互联网不停服务分库分表
tiancaishan的博客
04-10 895
很多互联网公司做到一定阶段，都会出现单表数据量到达瓶颈，如何解决？除了添加缓存等减轻数据库压力的方案，目前来说大部分公司都会走到分库分表这一步，但互联网服务一般都是7*24不停服的，那我们的分库分表也必然也要达成这样的要求？那我们如何来达成呢？小面是作者的一些思考，如果错漏，可以指出，大家共同探讨。首先，我们需要考虑哪些方面：（1）服务：分库分表后，数据服务必然不同于以往的服务（2）数据库：库表地...
mysql不停机分库分表方案,MYSQL性能优化分享-分库分表,不停机修改mysql表结构
weixin_30631909的博客
03-23 239
下午的分享，同事讲了下关于mysql性能优化方面几个心得，很有意义，贴出来1、分库分表很明显，一个主表(也就是很重要的表，例如用户表)无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中，分别从members0到members99，然后根据mid分发记...
mysql分库分表数据迁移_分库分布的几件小事（二）如何进行分库分表的数据迁移...
weixin_35925956的博客
02-04 742
1.停机迁移方案这是最简单的也是最low的迁移方案了，如果系统就算短期停机也没有关系或者造不成多大的影响，可以选用此方案。首先停掉机器，将系统全都停掉，不要再有新的数据进来，然后使用之前写好的程序，连接旧的数据库，将旧数据库里面的数据读出来，然后通过数据分发中间件写到分库分好的数据里面去。然后修改系统是数据库连接、分库分表配置，然后重新上线。2.双写不停机迁移方案双写迁移方案的核心在双写，首先要修...
MySQL数据库分库分表实践：解决数据量激增难题
[MySQL数据库分库分表实践：解决数据量激增难题](https://ask.qcloudimg.com/http-save/yehe-8467455/kr4q3u119y.png) # 1. MySQL分库分表概述** **1.1 分库分表概念和优势** 分库分表是一种数据库水平扩展技术，...
MySQL数据库分库分表策略：大数据量下的性能优化
MySQL数据库分库分表的概念和原理** 分库分表是一种数据库水平扩展技术，通过将一个大型数据库拆分成多个较小的数据库，从而提高数据库的性能和可扩展性。 **分库**是指将数据表按照某种规则拆分到不同的数据库中...
09_03_分库分表技术之MyCat实战
weixin_41596178的博客
04-24 382
分库分表技术 分库分表技术之MyCat 1.海量存储问题 1.1 背景描述 如今随着互联网的发展，数据的量级也是成指数的增长，从GB到TB到PB。对数据的各种操作也是愈加 的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。 阿里数据中心内景( 阿里、百度、腾讯这样的互联网巨头，数据量据说已经接近EB级) 解决方案1: 使用NoSQL数据库, 通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。 解决方案2: NoSQL并不是万能的，就比如有些使用场景是绝对
48_你们当时是如何把系统不停机迁移到分库分表的？.zip
11-13
https://mp.csdn.net/console/uploadResources?spm=1011.2124.3001.4171
MYSQL性能优化分享(分库分表)
09-11
MYSQL性能优化之分库分表与不停机修改mysql表结构，需要的朋友可以参考下
mysql不停机分库分表方案,MYSQL分库分表和不停机更改表结构
weixin_39636987的博客
03-23 466
在MYSQL分库分表中我们一般是基于数据量比较大的时间对mysql数据库一种优化的做法，下面我简单的介绍一下mysql分表与分库的简单做法。1、分库分表很明显，一个主表(也就是很重要的表，例如用户表)无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中...
【MySQL】分库分表
柠檬树
08-30 314
一、常见问题 1、为什么要分库分表（设计高并发系统的时候，数据库层面该如何设计）？用过哪些分库分表中间件？不同的分库分表中间件都有什么优点和缺点？你们是如何对数据库进行垂直拆分或水平拆分。 2、如何设计可以动态扩容的分库分表方案？ 3、分库分表之后，ID如何处理。 二、为啥要分库分表 其实，这块肯定是扯到高并发了，因为分库分表一定是为了支撑高并发、数据量大两个问题。而且现在说实话，尤其是互联网公司类的公司面试，基本上都会来这么一下。分库分表如...
不停机分库分表五个步骤（多图详解）
BASK2312的博客
03-07 612
分库分表具有三个必须面对的问题：方案本身复杂性、本地事务失效问题、难以聚合查询问题，所以分库分表方案并非解决海量数据问题的首选。如果必须分库分表，首先进行容量预估并选择合适的shardingKey，其次根据实际业务选择停服或者不停服方案，如果选择不停服方案，注意保持新表和旧表双写一段时间，从而验证数据准确性，希望本文对大家有所帮助。作者：JAVA前线。
mysql不停机迁移_MySQL 不停服务 在线进行100亿数据迁移切换
weixin_28724319的博客
01-19 490
背景:促销库压力巨大，单实例已经不足以提供写入性能，虽然有256个分表，但是经常io打满，总数据量已经达到100亿，单实例io已经支撑不住，所以方案是从促销库里面迁移2张压力大的业务分表到新的16个实例里面，2张分表的个数大概是256个，剩余的3000多个表不迁移，任留在原库，要求是尽量不停服，把影响尽量限制在这迁移的分表的业务上面。大概思路是，锁这些迁移的分表，停止这些分表业务，然后把业务迁移到...
JAVA面试题分享二百六十二：100亿级分库分表，不停机迁移，如何处理？
之乎者也·的博客
12-16 1337
周期很长：整个迁移过程从方案制定到最终的迁移完成持续约一个多月时间，最终完成迁移。方案可靠：无论是利用数据库工具还是利用服务对数据进行迁移，目标都是一致的那就是数据无差异，用户无感知，异常可监控，方案可回滚。充分演练：在迁移前尽可能进行演练，通过一些测试编写的自动化脚本能否高效发现一些潜在的问题。尽早迁移：同时存储是有状态的，迁移难度比较大，开发者需要具备前瞻性，尽量在选型的时候慎重，选择合适的数据库，避免进行数据库迁移。发现数据库选型有潜在的问题时，需要当机立断，尽早迁移。
同事今天下午的MYSQL性能优化分享
乐在其中/Leo在其中
10-18 205
下午的分享，同事讲了下关于mysql性能优化方面几个心得，很有意义，贴出来 1、分库分表 很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中，分别从members0到members99，然后根据mi...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值