php批量取文本中,使用PHP从1.3GB文本文件中提取文本的最佳方法?

我有一个1.3GB的文本文件,我需要从

PHP中提取一些信息.我已经对它进行了研究,并提出了一些不同的方法来做我需要做的事情,但总是稍微澄清一下哪种方法最好或者另一种更好的方法存在我不知道的事情?

我在文本文件中需要的信息只是每行的前40个字符,文件中有大约1700万行.每行40个字符将插入数据库中.

我的方法如下;

// REMOVE TIME LIMIT

set_time_limit(0);

// REMOVE MEMORY LIMIT

ini_set('memory_limit', '-1');

// OPEN FILE

$handle = @fopen('C:\Users\Carl\Downloads\test.txt', 'r');

if($handle) {

while(($buffer = fgets($handle)) !== false) {

$insert[] = substr($buffer, 0, 40);

}

if(!feof($handle)) {

// END OF FILE

}

fclose($handle);

}

以上是每次读取每行并获取数据,我将所有数据库插入排序,在事务中一次执行50次插入.

下一个方法与上面的方法相同但是在执行foreach获取数据之前调用file()来存储数组中的所有行?我不确定这种方法,因为数组基本上有超过1700万的值.

另一种方法是只提取部分文件,用未使用的数据重写文件,然后执行该部分后使用标题调用重新调用脚本?

在以最快速有效的方式完成这项工作方面,最好的方法是什么?或者有没有更好的方法来解决这个问题?

此外,我计划将此脚本与wamp一起使用,但是在测试中运行它时,即使将脚本时间设置为0,也会导致超时问题.有没有办法可以执行脚本运行而无需通过浏览器访问页面?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值