Mysql处理大量数据方案

有时候，数据多了就有烦恼了。将库内相关表数据移除（存入其他库内）可能是定期需要做的必要工作。

基本步骤如下：

1.导出预定的表内数据

2.导入到指定库内

3.移除原库的表内数据

很简单吧。我们一步一步来实现。

1.导出预定的表内数据

一般来说，大部分表不会将数据全部导出，会保留符合条件的数据。一般，以时间条件较为常见。比如：要求保留2个月内的数据。

我们使用mysqldump这个工具就可以实现导出指定表并满足指定逻辑条件。下面是一个例子：

mysqldump -uroot -p testdb  testtable --where="id<=125443450" > testtable201901.sql

上面这个命令是导出testdb库内testtable表内id小于等于125443450的全部数据。

这个命令将包括创建表testtable以及插入数据到testtable表的命令。

如果有多个表需要导出，就参考上面的命令，多写几条就可以了。

这里要注意一下，使用时间作为保留数据的要求是较常见的。不过直接使用时间作为条件（特别是datetime类型的）可能会出现多导或少导几条数据的情况（实测的结果，mysql 5.6，其他版本未检测）。因此，建议先使用时间条件显示出部分数据10-20条即可，然后确认最后一条数据，并取其id（自增长字段）作为导数据条件进行操作。

2.导入到指定库内

这个实现更简单，使用mysql工具可以简单实现。下面是一个例子：

mysql -uroot -p testdbbak < testtable201901.sql

有多个表文件可以参考上面的命令。

3.移除原库的表内数据

前两步都非常简单的实现了。

这步按说也很简单，不过冒冒失失的实际操作起来可能会让你疯掉。

移除表数据的方法mysq命令中有2个，delete和truncate table

truncate table清除表内全部数据的命令。

特点是速度快。如果数据确认全部不要，用这个是最好的。

如果是部分删除，那么truncate table就不适合了。

在删除数据较少的情况，delete没什么不好。

如果比较多，比如500万条数据，那么你将可能面临的问题如下：

a.执行时间较长

b.索引效率变低

c.磁盘空间未释放

我遇到过执行delete时间超过40分钟的情况....

在出现bc情况后，通常需要对表进行优化处理，这又是一次漫长的执行过程...

鉴于上面描述的问题，如果是删除较多数据的时候，建议不使用delete的方式实现。

这里给出的一个建议方案如下，供大家参考：

使用mysqldump将表内需要保留的数据导出，之后立即将导出的数据恢复到原表内。

mysqldump -uroot -p chickens  testdb testtable --where="id>125443450" > testtable201901.sql
mysql  -uroot -p testdb< testtable201901.sql

为什么这个方案比直接使用delete好？

首先导出再导入，本质是将原表删除了然后重建并重新插入数据。其避免了delete对表索引导致的问题，也就不需要之后在进行优化。也就是bc问题不存在了。

那么执行时间与delete比那个更少？这个不能简单回答，虽然本人测试结果是delete时间更长。

这个主要取决于要删除的数据和要保留的数据的多少。这里暂时无法给出精确的数据，不过两者差不多的情况下，delete会更长。