线上运行的系统实现从单库单表迁移至分库分表的实现方案

一. 需要长时间停机的迁移方案

迁移过程:

1. 将业务服务停机(比如使用Tomcat容器,不在对外提供服务)

2. 启动多个分库分表服务,从单库单表的DB中抽取数据,并发送至数据库分库分表中间件,接着由中间件将数据写入到分库分表的DB中。这个过程所耗费的时间与数据量、分库分表服务的个数、是否使用多线程等因素相关。

3. 通过修改配置的方式,断开业务服务与单库单表DB的连接,使业务服务连接到数据库分库分表中间件上,并重启业务服务。

缺点:

整套迁移流程需要一气呵成,当单库单表的数据量较大时,可能需要使系统停机几个小时,在此期间无法正常对外提供服务,影响了用户使用,且对实时迁移的开发人员来做造成的负担也很重。

二. 不需要长时间停机的分库分表双写方案

迁移过程:

1.部署数据库分库分表中间件,部署本次用于分库分表的数据库集群。

2. 修改业务系统代码,使业务系统不仅写入数据至单库单表,同时也写入至数据库中间件,由中间件再将数据写入到分库分表内。(需要重启系统)

3. 启动数据抽取工具,定时抽取单库单表内的数据与分库分表内进行比对(比如使用时间戳比对),执行覆盖或新增策略。

4. 数据抽取工具运行一段时间后,单库单表内的数据与分库分表内的数据实现完全一致,此时再通过修改业务系统配置的方式,切断与单库单表的写入动作,只将写入请求发送至数据库中间件,写入分库分表,停用数据抽取工具,最后重启业务系统,迁移完毕。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值