面试中经常会问有没有试过怎么快速迁移大表:
常用中可以使用mysqldump、mysqlpump、navicate等工具导入导出。我经验中可以采用load data的方式load进去,比insert快很多
MySQL5.7之后可以采用表空间传输方式也是一个很快速的大表迁移方式,适合异机实例间传输迁移,速度非常快。
1.load data方式:
MySQL快速数据导入(可以把数据加载到文件,在采用load方式进入表,速度比mysqldump快好几倍)
select * from ams.t_amsfile into outfile '/home/mysqldata/mysql- sandboxes/3309/mysql-files/ams_t_amsfile';
load data infile '/home/mysqldata/mysql-sandboxes/3309/mysql- files/ams_t_amsfile' into table ams.t_amsfile;
2.表空间传输:(适合INNODB表异机实例间传递)
适用场景:针对大表异机实例迁移,采用表空间传输的方式,会很大程度节约时间,高效迁移。
缺点:传输需要锁住表,对无法中断业务也会有影响
示例1:将InnoDB表复制到另一个实例
此过程演示如何将常规InnoDB表从正在运行的MySQL服务器实例复制 到另一个正在运行的实例。可以使用具有微小调整的相同过程在同一实例上执行完整表还原。
在源实例上,创建一个表(如果不存在): mysql> USE test;
mysql> CREATE TABLE t(c1 INT) ENGINE=InnoDB;
在目标实例上,创建一个表(如果不存在):
mysql> USE test;
mysql> CREATE TABLE t(c1 INT) ENGINE=InnoDB;
目标实例上,放弃现有表空间。(在导入表空间之前, InnoDB必须丢弃附加到接收表的表空间)
mysql>ALTER TABLE t DISCARDTABLESPACE
在源实例上,运行 FLUSH TABLES ... FOR EXPORT以停顿表并创建.cfg元数据文件:
mysql> USE test;
mysql> FLUSH TABLES t FOR EXPORT;
metadata(.cfg)在InnoDB数据目录中创建 。
注:
该FLUSHTABLES...FOREXPORT语句确保已将对指定表的更改刷新到磁盘,以便在实例运行时可以创建二进制表副本。当 FLUSHTABLES...FOREXPORT运行时,InnoDB产生了.cfg在同一个数据库的目录表文件。该.cfg文件包含导入表空间文件时用于模式验证的元数据。
将.ibd文件和 .cfg元数据文件从源实例复制到目标实例。例如:
shell> scp /path/to/datadir/test/t.{ibd,cfg} destination-server:/path/to/datadir/test 注意
.ibd文件和 .cfg文件必须释放共享锁之前如在下一步中所述被复制。
在源实例上,用于 UNLOCK TABLES释放通过FLUSH TABLES ... FOR EXPORT以下方式获取的锁 :
mysql> USE test;
mysql> UNLOCK TABLES;
在目标实例上,导入表空间:
注意:拷贝过程中数据块文件权限变了之后需要修改。否则执行下面语句时候会报错找不到表空间
mysql> USE test;
mysql> ALTER TABLE t IMPORT TABLESPACE;
注意
该ALTER TABLE ... IMPORT TABLESPACE功能不会对导入的数据强制执行外键约束。如果表之间存在外键约束,则应在相同(逻辑)时间点导出所有表。在这种情况下,您将停止更新表,提交所有事务,获取表上的共享锁,然后执行导出操作。
3.总结&思考
还有其他快速传输的方式吗? 比如xtrabackup