巧用管道实现MySQL不落盘数据迁移

需要迁移一个几百G的大数据库,原计划将数据导出成文件再导入,但服务器上磁盘空间不足,如下脚本可以不落盘直接迁移数据:

nohup sh -c "mysqldump -h172.26.0.1 --port=33061 -uroot --password='xx' --set-gtid-purged=OFF --lock-tables=false db_name tables_name | mysql -h172.26.18.222 -P3307 --ssl-mode=DISABLED -uroot --password='Cninfo#3307' db_name" 2>&1 &

命令有点长,解释一下:

  • mysqldump连接源数据库,会将SQL打印到标准输出,管道将其传送到mysql命令,作为其标准输入,mysql从标准输入取SQL执行。
  • --set-gtid-purged=OFF:让目标MySQL在导入时生成binlog。
  • --ssl-mode=DISABLED:禁用SSL,因为我是从8.0导入到5.7,如果不加这个会报错,因为源和目标服务器的SSL版本不一致,干脆禁用掉它。
  • 整个命令被包裹了两层,第一层是sh -c "xxx",第二层是nohup xxx 2>&1 &,目的是让脚本保持后台执行,不会随着命令容口的关闭而退出。只用sh -c这一层的话,如果中途报错看不到报错信息,所以使用nohup来接收一下输出信息,在nohup.out中。

效率分析:

因为没有实际写磁盘,数据只是通过管道在两个命令间传递,而管道数据是缓存在内存中的,所以效率很高。如果源和目标数据库在一台机器上,而内存又足够大的话,整个过程甚至都可以在内存中,效率会更高。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值