我有一个1.3GB的文本文件,我需要从
PHP中提取一些信息.我已经对它进行了研究,并提出了一些不同的方法来做我需要做的事情,但总是稍微澄清一下哪种方法最好或者另一种更好的方法存在我不知道的事情?
我在文本文件中需要的信息只是每行的前40个字符,文件中有大约1700万行.每行40个字符将插入数据库中.
我的方法如下;
// REMOVE TIME LIMIT
set_time_limit(0);
// REMOVE MEMORY LIMIT
ini_set('memory_limit', '-1');
// OPEN FILE
$handle = @fopen('C:\Users\Carl\Downloads\test.txt', 'r');
if($handle) {
while(($buffer = fgets($handle)) !== false) {
$insert[] = substr($buffer, 0, 40);
}
if(!feof($handle)) {
// END OF FILE
}
fclose($handle);
}
以上是每次读取每行并获取数据,我将所有数据库插入排序,在事务中一次执行50次插入.
下一个方法与上面的方法相同但是在执行foreach获取数据之前调用file()来存储数组中的所有行?我不确定这种方法,因为数组基本上有超过1700万的值.
另一种方法是只提取部分文件,用未使用的数据重写文件,然后执行该部分后使用标题调用重新调用脚本?
在以最快速有效的方式完成这项工作方面,最好的方法是什么?或者有没有更好的方法来解决这个问题?
此外,我计划将此脚本与wamp一起使用,但是在测试中运行它时,即使将脚本时间设置为0,也会导致超时问题.有没有办法可以执行脚本运行而无需通过浏览器访问页面?