php 采当前时间,PHP采集超时

写了一个api数据采集的php程序放到服务器,但是数据量巨大,总是会采集超时。请问可以有什么解决方案?有没有办法设置超时之后自动刷新,从断点重新开始运行程序?

bVqfo2

回复内容:

写了一个api数据采集的php程序放到服务器,但是数据量巨大,总是会采集超时。请问可以有什么解决方案?有没有办法设置超时之后自动刷新,从断点重新开始运行程序?

bVqfo2

采集工作不要使用浏览器进行程序访问 , 使用命令行模式没有超时的情况, 但是使用命令行模式要注意内存的释放,否则会有存在内存溢出的错误, 如果使用浏览器进行程序执行入口 需要增加分页跳转功能, 采集完几个地址后自动跳转一下, 这样就避免超时了 set_time_limit 如果可以调的话可以调的大一点

(补充一点:超时后自动刷新这个没办法实现,超时了程序就已经终止了,只能认为刷新, 从断点开始继续采集这个是有办法的, 每次采集开始时记录一下当前采集链接,结束时把当前采集链接状态设为完成状态,重新开始采集的时候程序自动检测一下这个日志,从有记录的地方开始采集就可以了)

我博客专门有一篇PHP并行采集的文章 比一般的效率高很多

连接: http://rrtry.top/%E7%BD%91%E7%AB%99%E6%8A%80%E6%9C%AF/20.html

set_time_limit(0); 可以不超时

超时自动刷新的话 没做过 感觉需要用脚本结合PHP返回数据实现

上午刚采集完一大坨数据,用cli模式撒。

bVqfu6

相关标签:php

本文原创发布php中文网,转载请注明出处,感谢您的尊重!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值