MYSQL 到MYSQL 分表数据迁移

一 背景

  通常情况下,还是做业务需求为主,很少会遇到迁移数据的机会,之前做的迁移《MYSQL数据库 单表亿级数据不停机迁移_bohu83的博客-CSDN博客_mysql亿级数据迁移

业务场景是阿里云 的数据库,迁移用了dts.在线不停机迁移,还是自己去做。

二  技术选型

如果运行停止服务,dba 可以使用MYSQL官方的mysqldump 或者Percona的备份工具进行迁移。

mysqldump 对于大表迁移速度很慢,不支持分表。所以只能考虑其他办法。

datax: 介绍

阿里云开源离线同步工具DataX3.0介绍-阿里云开发者社区

datax 也可以实现分表,本身没有实践,因为这是Python 的。我对这个不熟悉。所以本次 没采用。

otter:

GitHub - alibaba/otter: 阿里巴巴分布式数据库同步系统(解决中美异地机房)

阿里开源数据迁移工具(背景解决中美异地机房同步)。

相对 复杂。

yugong

GitHub - alibaba/yugong: 阿里巴巴去Oracle数据迁移同步工具(全量+增量,目标支持MySQL/DRDS)

阿里开源oracle数据迁移工具。java 版本,开源版本不支持MYSQL,但是技术上有改动基础

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=96m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
2022-02-28 15:57:45.739 [main] INFO  com.taobao.yugong.YuGongLauncher - ## start the YuGong.
2022-02-28 15:57:45.816 [main] INFO  com.taobao.yugong.controller.YuGongController - check source database connection ...
2022-02-28 15:57:45.865 [main] INFO  com.taobao.yugong.controller.YuGongController - check source database is ok
2022-02-28 15:57:45.865 [main] INFO  com.taobao.yugong.controller.YuGongController - check target database connection ...
2022-02-28 15:57:45.866 [main] INFO  com.taobao.yugong.controller.YuGongController - check target database is ok
2022-02-28 15:57:45.867 [main] INFO  com.taobao.yugong.controller.YuGongController - check source tables read privileges ...
2022-02-28 15:57:45.934 [main] INFO  com.alibaba.druid.pool.DruidDataSource - {dataSource-1} inited
2022-02-28 15:57:46.358 [main] INFO  com.alibaba.druid.pool.DruidDataSource - {dataSource-2} inited
2022-02-28 15:57:46.513 [main] INFO  com.taobao.yugong.controller.YuGongController - check source tables is ok.
2022-02-28 15:57:46.524 [main] ERROR com.taobao.yugong.YuGongLauncher - ## Something goes wrong when starting up the YuGong:
com.taobao.yugong.exception.YuGongException: unsupport MYSQL
    at com.taobao.yugong.controller.YuGongController.chooseExtractor(YuGongController.java:339)
    at com.taobao.yugong.controller.YuGongController.start(YuGongController.java:168)
    at com.taobao.yugong.YuGongLauncher.main(YuGongLauncher.java:32)

 

yugong开源版本目的:从oracle到MYSQL迁移。支持异构结构。(背景是阿里的去IOE)可能处于商业考虑,不支持MYSQL到MYSQL迁移.

三  效果

考虑到它是Java框架,框架比较完善,只是缺了MYSQL的抽取,可以参照Oracle的去改。

效果,在配置20个线程读原表,单次读取2000情况下,往16个新库分表迁移。tps在50000以上。

表里有单主键无text大字段。

 速度很快,3300W 数据10分钟就跑完了。

这只是全量数据迁移 ,还有很多细节要考虑,比如迁移 期间增量数据处理,一对多的数据比对不能很好支持。

 

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值