背景:需要将一个数据库下的一张近700W数据量的表复制到另外一个数据库下面,并且保证表结构、索引、数据完全一样。
实现思路:找到想要复制的表在数据库中对应的文件,复制到另外一个数据库对应的实例文件夹下面。
具体实现:
①.找到想要复制的表在数据库中对应的文件,一般在mysql安装目录{mysqlhome}/data/{实例名}文件夹下面。我这次目标表名是test110。实例名是test。那么在我的{mysqlhome}/data/test下面会看到test110.frm文件。这个文件中保存的是表结构,如果你只是复制这个表到目标数据库实例下,使用show tables命令或者是desc test110命令,是会看到这个表的,但是如果使用select 等命令则会报错。因为你只是将表结构复制过去,表的data没有复制过去。
②.在源实例下执行 alter table test110 engine=myisam row_format=compact;这个命令。主要作用是设置表test100的存储引擎为myisam。这个时候,你会在源实例的{mysqlhome}/data/test下看到 test110.MYD,test110.MYI两个多出来的文件,其中MYD存储的是data,MYI文件存储的是表索引。将这三个文件都复制到目标数据库的对应实例下,再次执行select语句就没问题了,意味着完成整个复制工作。
**********************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************
下面是这种复制与跑程序耗时的一个POC:
可以看出alter table test110 engine=myisam row_format=compact;这个命令耗时最多为7min多。再加上由复制文件,可能总时间不会超过8min。
而如果使用数据导出,再用批量插入的方式呢?使用spirng的批量插入5000条数据耗时1.2S,700W条数据耗时=1.2*7000000/5000=28min。可见效率提高很多。并且用命令行的话很方便,不用写繁琐的程序。