curl_init()和curl_multi_init()多线程的速度比较

转载 2017年07月28日 17:56:33

php中curl_init()的作用很大,尤其是在抓取网页内容或文件信息的时候,例如之前文章curl获得header检测GZip压缩的源代码就介绍到curl_init()的强大。

curl_init()处理事物是单线程模式,如果需要对事务处理走多线程模式,那么php里提供了一个函数curl_multi_init()给我们,这就是多线程模式处理事务的函数。

curl_init()与curl_multi_init()的速度比较

curl_multi_init()多线程能提高网页的处理速度吗?今天我通过实验来验证一下这个问题。

今天我的测试很简单,那就是要抓取www.webkaka.com网页的内容,要连续抓5次,分别用curl_init()和curl_multi_init()函数来完成,记录两者的耗时,比较得出结论。

首先,用curl_init()单线程连续抓5次www.webkaka.com网页的内容。

程序代码如下:

  • <?php
  • $mtime = explode(" ", microtime());
  • $mtime = $mtime[1].($mtime[0] * 1000);
  • $mtime2 = explode(".", $mtime);
  • $mtime = $mtime2[0];
  • echo $mtime;
  • echo "<br>";
  • for($i=1; $i<=5; $i++){
  • $szUrl = 'http://www.webkaka.com/';
  • $curl = curl_init();
  • curl_setopt($curl, CURLOPT_URL, $szUrl);
  • curl_setopt($curl, CURLOPT_HEADER, 0);
  • curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
  • curl_setopt($curl, CURLOPT_ENCODING, '');
  • $data=curl_exec($curl);
  • echo $data;
  • echo "<br>";
  • $mtime_ = explode(" ", microtime());
  • $mtime_ = $mtime_[1].($mtime_[0] * 1000);
  • $mtime2_ = explode(".", $mtime_);
  • $mtime_ = $mtime2_[0];
  • echo $mtime_;
  • echo "<br>";
  • echo $mtime_ - $mtime;
  • }
  • ?>

然后,用curl_multi_init()多线程连续抓5次www.webkaka.com网页的内容。

代码如下:

  • <?php
  • echo date("Y-m-d H:m:s",time());
  • echo " ";
  • echo floor(microtime()*1000);
  • echo "<br>";
  • $mtime = explode(" ", microtime());
  • $mtime = $mtime[1].($mtime[0] * 1000);
  • $mtime2 = explode(".", $mtime);
  • $mtime = $mtime2[0];
  • echo $mtime;
  • echo "<br>";
  • $urls = array(
  • 'http://www.webkaka.com',
  • 'http://www.webkaka.com',
  • 'http://www.webkaka.com',
  • 'http://www.webkaka.com',
  • 'http://www.webkaka.com');
  • print_r(async_get_url($urls)); // [0] => example1, [1] => example2
  • echo "<br>";
  • echo date("Y-m-d H:m:s",time());
  • echo " ";
  • echo floor(microtime()*1000);
  • echo "<br>";
  • $mtime_ = explode(" ", microtime());
  • $mtime_ = $mtime_[1].($mtime_[0] * 1000);
  • $mtime2_ = explode(".", $mtime_);
  • $mtime_ = $mtime2_[0];
  • echo $mtime_;
  • echo "<br>";
  • echo $mtime_ - $mtime;
  • function async_get_url($url_array, $wait_usec = 0)
  • {
  •     if (!is_array($url_array))
  •         return false;
  •     $wait_usec = intval($wait_usec);
  •     $data    = array();
  •     $handle  = array();
  •     $running = 0;
  •     $mh = curl_multi_init(); // multi curl handler
  •     $i = 0;
  •     foreach($url_array as $url) {
  •         $ch = curl_init();
  •         curl_setopt($ch, CURLOPT_URL, $url);
  •         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print
  •         curl_setopt($ch, CURLOPT_TIMEOUT, 30);
  •         curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
  •         curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
  •         curl_setopt($ch, CURLOPT_MAXREDIRS, 7);
  •         curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里
  •         $handle[$i++] = $ch;
  •     }
  •     /* 执行 */
  •     do {
  •         curl_multi_exec($mh, $running);
  •         if ($wait_usec > 0) /* 每个 connect 要间隔多久 */
  •             usleep($wait_usec); // 250000 = 0.25 sec
  •     } while ($running > 0);
  •     /* 读取资料 */
  •     foreach($handle as $i => $ch) {
  •         $content  = curl_multi_getcontent($ch);
  •         $data[$i] = (curl_errno($ch) == 0) ? $content : false;
  •     }
  •     /* 移除 handle*/
  •     foreach($handle as $ch) {
  •         curl_multi_remove_handle($mh, $ch);
  •     }
  •     curl_multi_close($mh);
  •     return $data;
  • }
  • ?>

为了避免随机性,我分别测了5次(用CTRL+F5强行刷新的方式),数据如下:

curl_init():

  第一次 第二次 第三次 第四次 第五次 平均
耗时(ms) 3724 3615 2540 1957 2794 2926

curl_multi_init():

  第一次 第二次 第三次 第四次 第五次 平均
耗时(ms) 4275 2912 3691 4198 3891 3793

从测试结果来看,我们发现两种方法的耗时差不了太多,只有700多毫秒。很多人原本以为多线程比单线程耗时会短很多,实际上并不是这样的,从数据来看,多线程反而比单线程耗时更多了一点。不过,对于某些事务来说,用多线程来处理不一定是为了追求速度,这个是需要注意的。

关于curl_multi_init()

一般来说,想到要用curl_multi_init()时,目的是要同时请求多个url,而不是一个一个依次请求,否则就要curl_init()了。

不过,在使用curl_multi的时候,你可能遇到cpu消耗过高、网页假死等现象,可以看看如何解决curl_multi导致网页假死的问题

使用curl_multi的步骤总结如下:

第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close

各函数作用解释:

curl_multi_init()
初始化一个curl批处理句柄资源。

curl_multi_add_handle()
向curl批处理会话中添加单独的curl句柄资源。curl_multi_add_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。

curl_multi_exec()
解析一个curl批处理句柄,curl_multi_exec()函数有两个参数,第一个参数表示一个批处理句柄资源,第二个参数是一个引用值的参数,表示剩余需要处理的单个的curl句柄资源数量。

curl_multi_remove_handle()
移除curl批处理句柄资源中的某个句柄资源,curl_multi_remove_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。

curl_multi_close()
关闭一个批处理句柄资源。

curl_multi_getcontent()
在设置了CURLOPT_RETURNTRANSFER的情况下,返回获取的输出的文本流。

curl_multi_info_read()
获取当前解析的curl的相关传输信息。

实例
请看本文里async_get_url()的写法。


curl_multi实现准多线程采集

curl_multi在其内部实现了多线程发送请求,但在php代码层面仍然是单线程阻塞的。...
  • Allen_Tsang
  • Allen_Tsang
  • 2016年09月03日 21:13
  • 1265

curl_multi_init()多线程

  • q601115211
  • q601115211
  • 2014年10月25日 14:50
  • 2733

利用curl_multi_init并行多线程处理网络数据

利用curl_multi_init并行处理网络数据
  • lg_lin
  • lg_lin
  • 2015年08月14日 20:07
  • 1521

PHP使用curl multi要注意的问题:每次使用curl multi同时并发多少请求合适

PHP的curl multi可以使用多线程处理http请求,一定程度上可以提高请求接口的效率。但是,启用多线程也是会消耗资源的事情,那么每次curl multi同时并发多少个请求合适呢? 接下来做了以...
  • loophome
  • loophome
  • 2016年11月25日 10:25
  • 3588

curl_multi_init比curl_init快30倍

CleverCode发现curl_multi_init比curl_init发送100个请求,快非常多!具体细节如下。 1 https源码 ...
  • CleverCode
  • CleverCode
  • 2016年05月31日 19:00
  • 3057

简评file_get_contents与curl 效率及稳定性

做过好多抓取别家网站内容的产品,习惯了使用方便快捷的file_get_contents函数,但是总是会遇到获取失败的问题,尽管按照手册中的例子设置了超时,可多数时候不会奏效: $config['co...
  • u011553255
  • u011553255
  • 2013年11月13日 14:28
  • 697

php curl_multi批量发送http请求

引子:在Android4.0开发中,发送Http请求已经不允许在主进程中执行了,必须在线程中执行。原因在于Http接口响应时间有可能阻塞主进程事件监听(对于.Net开发,其实也是如此)。但是,由于PH...
  • loophome
  • loophome
  • 2015年10月03日 16:50
  • 2490

PHP使用CURL_MULTI实现多线程采集的例子

这两天有一客户定制了一个免登录发布模块,因为在模块中需要涉及到很多图片下载的问题,考虑到性能问题,所以特别写了一个CURL_MULTI远程采集网页的函数,以方便以后使用,估计以后都不会使用原来的单线程...
  • guiyecheng
  • guiyecheng
  • 2017年02月20日 16:40
  • 964

curl_init()和curl_multi_init()多线程的速度比较

来源:http://www.webkaka.com/tutorial/php/2013/102843/ php中curl_init()的作用很大,尤其是在抓取网页内容或文件信息的时候...
  • gb4215287
  • gb4215287
  • 2016年02月28日 21:40
  • 192

PHP CURL 多线程 GET/POST 类

来源:http://www.oschina.net/code/snippet_1475115_44902 /*************************************...
  • gb4215287
  • gb4215287
  • 2016年02月28日 21:25
  • 394
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:curl_init()和curl_multi_init()多线程的速度比较
举报原因:
原因补充:

(最多只允许输入30个字)