记一次失败的刷数据经历

记一次失败的刷数据经历

最近因业务需求需要刷新线上的数据，遇到几个问题。

分批获取数据，切忌将所有数据获取之后再操作

原本想着线上的数据量也没有多少，在取数据的时候就没有分批次取，将所有的数据拿出来，在mysql将所有的数据给PHP之后，因为PHP设置的内存最大容量有限，所以内存直接溢出了。

数据表的备份

因为是对原有的数据表进行操作，所以需要将原来的表备份，以便出了问题还原

DROP TABLE IF EXISTS A_bak;
CREATE TABLE A_bak LIKE A;
INSERT INTO A_bak SELECT * FROM A;

线上数据大约有七万条，不到一秒就执行完了，还是相当快的

脚本执行

同事说他们之前刷数据的时候，都是写一个shell脚本，shell脚本每次获取表的50条数据，调用另一个PHP脚本，来对这50条数据进行操作；用nohup命令不间断的执行这个shell脚本。

nohup简介：

nohup 命令运行由 Command参数和任何相关的 Arg参数指定的命令，忽略所有挂断（SIGHUP）信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令，添加 & （ 表示“and”的符号）到命令的尾部。

nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。

在缺省情况下该作业的所有输出都被重定向到一个名为nohup.out的文件中。

nohup command > myout.file 2>&1 &

后台不间断执行command命令，（2>&1是将标准错误（2）重定向到标准输出（&1），标准输出（&1）再被重定向输入到myout.file文件中）。并将命令执行结果重定向到myout.file文件中。

优化建议

我线上数据大约有7万条，但是执行了将近一分钟，操作数据库和逻辑处理也不复杂，但是执行这么久，确实是存在问题的。

1. 在程序中对表中的数据进行了分批次获取，每次获取50条，使用的是框架自带的方法，用的是limit-offset方法，但是当快查到最后几页的时候，就会非常慢；可以再每次获取的数据上记录最后一条的id，然后根据id倒排，取前50条，就能优化上述的问题。
2. 在程序中每次形成新的记录时，都插入数据库，所以是单条插入的，但是mysql每次插入时（innodb引擎）都会更新索引，数据量越大，更新索引需要的时间就越多，所以插入速度就越慢；可以在匹配取出50条之后批量插入数据库，这样50条数据才执行一次插入，执行一次索引更新，速度就会提升。
3. 可以了解一下mysql的游标的使用