多进程PHP脚本实现海量数据转移总结

背景

由于项目的新版本有大改动，需求是将一些旧表的数据转移到新表来，于是使用PHP写了数据脚本，对MySQL的数据进行读取，计算，转移，插入等处理，实现千万级别数据的计算和转移。这里面也遇到一些问题，这里做下总结：

需求

将几个旧表的数据拷到新表来，有些字段发生了变化，有些字段的值需要计算；
单表数据量到达千万级，而且线上有多个库，要对脚本进行必要的优化；
脚本执行时间控制在两个小时之内；

实现过程

1、分析表数据的关联性，整合脚本。
分析了几个表数据之间的联系，可以将一些有关联的表的数据放在一个数据脚本中，比如user表和user_detail表，这两个表的数据是有一些关联的，一些数据值的计算不用重复读取，减少脚本的计算操作，节约时间；

2、数据读取时，减少配置数据的加载操作，减少数据查询操作。
开始数据转移时，必要的配置数据必须在脚本开始时全部加载进来，不能在转移时用到再去进行查询，因为每次查询都是意味着消耗更多时间。当然这里有个前提是你的机器内存要够大，PHP的这种加载是比较消耗内存的。一个脚本运行起来，内存都要占了很多G，这种其实就是用空间换时间的做法。当然，当机器内存不够大，或者性能不够强时，还是先保证脚本的健壮性，再来考虑性能。
PHP可以使用set_time_limit ( 0 ); @ini_set(‘memory_li