背景
由于项目的新版本有大改动,需求是将一些旧表的数据转移到新表来,于是使用PHP写了数据脚本,对MySQL的数据进行读取,计算,转移,插入等处理,实现千万级别数据的计算和转移。这里面也遇到一些问题,这里做下总结:
需求
将几个旧表的数据拷到新表来,有些字段发生了变化,有些字段的值需要计算;
单表数据量到达千万级,而且线上有多个库,要对脚本进行必要的优化;
脚本执行时间控制在两个小时之内;
实现过程
1、分析表数据的关联性,整合脚本。
分析了几个表数据之间的联系,可以将一些有关联的表的数据放在一个数据脚本中,比如user表和user_detail表,这两个表的数据是有一些关联的,一些数据值的计算不用重复读取,减少脚本的计算操作,节约时间;
2、数据读取时,减少配置数据的加载操作,减少数据查询操作。
开始数据转移时,必要的配置数据必须在脚本开始时全部加载进来,不能在转移时用到再去进行查询,因为每次查询都是意味着消耗更多时间。当然这里有个前提是你的机器内存要够大,PHP的这种加载是比较消耗内存的。一个脚本运行起来,内存都要占了很多G,这种其实就是用空间换时间的做法。当然,当机器内存不够大,或者性能不够强时,还是先保证脚本的健壮性,再来考虑性能。
PHP可以使用set_time_limit ( 0 ); @ini_set(‘memory_li