php 抓取网页内容优化 我想在youku网抓取高清视频的链接,然后发到手机客户端那里,可是抓取的时间不理想(大概50个视频,电脑抓取显示在网页都要6秒多,发送到手机更要30秒),想问有什么优化方法呢?
回复讨论(解决方案)
换光纤 !
楼主是要抓链接吧,不是抓视频内容吧,用CURL
楼主是要抓链接吧,不是抓视频内容吧,用CURL
我现在用的是正则表达式抓取标签,时间太长了,你是说可以用curl来做?
有没有具体的思路
你可以把你的代码贴出来,看有没有可优化的地方。
你可以把你的代码贴出来,看有没有可优化的地方。
foreach ($video as $key)
{
$nextContent=file_get_contents($nextUrl);
...
我说换光纤吧,循环地 file_get_contents,6秒很便宜了
foreach ($video as $key)
{
$nextContent=file_get_contents($nextUrl);
...
我说换光纤吧,循环地 file_get_contents,6秒很便宜了
?丝换不起
用curl_multi_exec()并发抓取
用curl_multi_exec()并发抓取
虽然还没弄好,但是大神提供了思路,也提供我学习的方向!
本文原创发布php中文网,转载请注明出处,感谢您的尊重!