Mysql将现有表进行分表分库

目录


以下内容参考微信公众号石杉的架构笔记,欢迎大家关注,结合文章内容写一些自己的补充和心得感悟

1 项目背景

现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分表上?

分表分库预备知识:
MySQL分库分表

2 停机迁移方案

比较传统的方案,就是很简单,大家伙儿凌晨 12 点开始运维,网站或者 app 挂个公告,说 0 点到早上 6 点进行运维,无法访问。

接着到 0 点停机,系统停掉,没有流量写入了,此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具,此时直接跑起来,然后将单库单表的数据哗哗哗读出来,写到分库分表里面去。

导数完了之后,就 ok 了,修改系统的数据库连接配置啥的,包括可能代码和 SQL 也许有修改,那你就用最新的代码,然后直接启动连到新的分库分表上去。

验证一下,ok了,完美,大家伸个懒腰,看看看凌晨 4 点钟的北京夜景,打个滴滴回家吧。

但是这个方案比较 low,谁都能干,我们来看看高大上一点的方案。

2 双写迁移方案

常用的一种迁移方案,比较靠谱一些,不用停机,不用看北京凌晨 4 点的风景。

简单来说,就是在线上系统里面,之前所有写库的地方,增删改操作,除了对老库增删改,都加上对新库的增删改,这就是所谓的双写,同时写俩库,老库和新库。

然后系统部署之后,新库数据差太远,用之前说的导数工具,跑起来读老库数据写新库,写的时候要根据 gmt_modified 这类字段判断这条数据最后修改的时间,除非是读出来的数据在新库里没有,或者是比新库的数据新才会写。简单来说,就是不允许用老数据覆盖新数据。

导完一轮之后,有可能数据还是存在不一致,那么就程序自动做一轮校验,比对新老库每个表的每条数据,接着如果有不一样的,就针对那些不一样的,从老库读数据再次写。反复循环,直到两个库每个表的数据都完全一致为止。

接着当数据完全一致了,就 ok 了,基于仅仅使用分库分表的最新代码,重新部署一次,不就仅仅基于分库分表在操作了么,还没有几个小时的停机时间,很稳。所以现在基本玩儿数据迁移之类的,都是这么干的。

### 回答1: MySQL分库分表是一种常用的水平扩展数据库的方法,它将一个大的数据库按照一定的规则分成多个小的数据库,每个小的数据库再按照一定的规则分成多个小的,从而达到分布式存储和负载均衡的目的。 下面是一个基本的分库分表方案: 1. 水平分库 将一个大的数据库按照某种规则分成多个小的数据库,例如按照用户ID取模进行分库,将用户ID为奇数的用户存储在一个数据库中,将用户ID为偶数的用户存储在另一个数据库中。需要注意的是,分库后不同的数据库之间要保证数据的一致性,可以通过主从复制或者分布式事务来保证。 2. 水平分表 将一个小的数据库按照某种规则分成多个小的,例如按照时间进行分表,将不同时间段的数据存储在不同的中。需要注意的是,分表后不同的之间要保证数据的一致性,可以通过分布式锁或者分布式事务来保证。 3. 垂直分表 将一个大的按照某种规则拆分成多个小的,例如将相对独立的字段分成一个,将经常更新的字段分成一个。需要注意的是,分表后需要通过JOIN操作来获取完整的数据,可能会影响查询性能。 总之,分库分表是一种比较复杂的技术,需要根据具体情况进行设计和实现。建议在实际应用中采用成熟的分库分表中间件,例如ShardingSphere、TDDL等。 ### 回答2: MySQL分库分表是将一个大型的数据库按照一定的规则拆分成多个小的数据库,以提高数据库的性能和扩展性。 分库分表的方法有两大类:垂直拆分和水平拆分。 垂直拆分是将一个大的数据库按照业务功能或者数据类型分成多个小的数据库。比如将用户数据、订单数据等不同的业务数据存放在不同的数据库中。 水平拆分是将一个大的按照一定的规则拆分成多个小的。一般通过hash、range或者列等方式进行拆分。比如按照用户ID的hash值来拆分用户数据,或者按照订单的创建时间范围来拆分订单数据。 在使用分库分表的过程中,需要考虑以下几个方面: 1. 数据一致性:需要确保拆分后的库之间的数据一致性。可以通过分布式事务或者通过应用程序来保证数据的一致性。 2. 查询路由:在进行数据查询时,需要确定对应的查询路由规则,将查询路由到正确的数据库中。 3. 数据迁移:在进行分库分表之前,需要将现有数据进行迁移。可以使用工具进行数据迁移,或者通过应用程序将数据重新插入到分库分表中。 4. 垂直拆分和水平拆分的选择:根据业务需求和数据库性能来选择合适的拆分方式。 5. 分库分表的动态性:根据业务需求,可能需要对分库分表进行动态调整,需要考虑如何动态调整和迁移数据。 6. 分布式事务的处理:如果涉及到多个数据库的事务处理,需要考虑分布式事务的处理方式。 总之,MySQL分库分表可以通过垂直拆分和水平拆分的方式将一个大型的数据库分成多个小的数据库,以提高数据库的性能和扩展性。但在进行分库分表之前,需要考虑数据一致性、查询路由、数据迁移等问题。 ### 回答3: MySQL进行分库分表可以采用垂直分库和水平分表的方式。 垂直分库是将原始数据库按照不同的业务功能或业务模块划分为多个独立的数据库。这样每个数据库只存储与其相关的数据,分离了数据的关联性,提高了数据库的性能和扩展能力。垂直分库可以按照功能拆分,比如将用户相关的数据存放在一个库中,将订单相关的数据存放在另一个库中,以此类推。分库后可以根据业务的发展和负载的变化,对不同的库进行独立扩容,提高了系统的稳定性和可靠性。 水平分表是将单一的数据库按照某种规则拆分为多个子,每个子只包含一部分数据。拆分的规则可以是按照某个字段进行拆分,比如按照用户ID、日期等字段,也可以是按照均匀分布的方式进行拆分。水平分表可以提高数据库的读写性能,分散了数据的压力。在查询时,可以根据查询条件将查询请求发送到不同的分表进行查询,最后再将结果合并返回。在新增数据时,可以根据规则将数据插入到相应的分表中,实现数据的均衡存储。 在实际应用中,可以根据系统的需求和数据的规模选择适合的分库分表方案。在进行分库分表时,需要考虑到数据一致性、跨库查询和业务拆分等问题,并合理规划数据库的关联性和数据的拆分规则。同时还需要注意分库分表带来的管理和维护复杂性,比如跨库事务、分表查询等问题,并选择合适的工具和解决方案进行支持和优化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赵广陆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值