[转]Rolling cURL: PHP并发最佳实践

最新推荐文章于 2023-02-02 17:24:48 发布
最新推荐文章于 2023-02-02 17:24:48 发布
阅读量670 收藏
点赞数
分类专栏： php

来源：http://www.searchtb.com/2012/06/rolling-curl-best-practices.html


在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用cURL提供的curl_multi_*族函数实现简单的并发.

本文将探讨两种具体的实现方法, 并对不同的方法做简单的性能对比.

1. 经典cURL并发机制及其存在的问题

经典的cURL实现机制在网上很容易找到, 比如参考PHP在线手册的如下实现方式:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
function classic_curl( $urls , $delay ) {
     $queue = curl_multi_init();
     $map = array ();
 
     foreach ( $urls as $url ) {
         // create cURL resources
         $ch = curl_init();
 
         // set URL and other appropriate options
         curl_setopt( $ch , CURLOPT_URL, $url );
 
         curl_setopt( $ch , CURLOPT_TIMEOUT, 1);
         curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
         curl_setopt( $ch , CURLOPT_HEADER, 0);
         curl_setopt( $ch , CURLOPT_NOSIGNAL, true);
 
         // add handle
         curl_multi_add_handle( $queue , $ch );
         $map [ $url ] = $ch ;
     }
 
     $active = null;
 
     // execute the handles
     do {
         $mrc = curl_multi_exec( $queue , $active );
     } while ( $mrc == CURLM_CALL_MULTI_PERFORM);
 
     while ( $active > 0 && $mrc == CURLM_OK) {
         if (curl_multi_select( $queue , 0.5) != -1) {
             do {
                 $mrc = curl_multi_exec( $queue , $active );
             } while ( $mrc == CURLM_CALL_MULTI_PERFORM);
         }
     }
 
     $responses = array ();
     foreach ( $map as $url => $ch ) {
         $responses [ $url ] = callback(curl_multi_getcontent( $ch ), $delay );
         curl_multi_remove_handle( $queue , $ch );
         curl_close( $ch );
     }
 
     curl_multi_close( $queue );
     return $responses ;
}

首先将所有的URL压入并发队列, 然后执行并发过程, 等待所有请求接收完之后进行数据的解析等后续处理. 在实际的处理过程中, 受网络传输的影响, 部分URL的内容会优先于其他URL返回, 但是经典cURL并发必须等待最慢的那个URL返回之后才开始处理, 等待也就意味着CPU的空闲和浪费. 如果URL队列很短, 这种空闲和浪费还处在可接受的范围, 但如果队列很长, 这种等待和浪费将变得不可接受.

2. 改进的Rolling cURL并发方式

仔细分析不难发现经典cURL并发还存在优化的空间, 优化的方式时当某个URL请求完毕之后尽可能快的去处理它, 边处理边等待其他的URL返回, 而不是等待那个最慢的接口返回之后才开始处理等工作, 从而避免CPU的空闲和浪费. 闲话不多说, 下面贴上具体的实现:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
function rolling_curl( $urls , $delay ) {
     $queue = curl_multi_init();
     $map = array ();
 
     foreach ( $urls as $url ) {
         $ch = curl_init();
 
         curl_setopt( $ch , CURLOPT_URL, $url );
         curl_setopt( $ch , CURLOPT_TIMEOUT, 1);
         curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 1);
         curl_setopt( $ch , CURLOPT_HEADER, 0);
         curl_setopt( $ch , CURLOPT_NOSIGNAL, true);
 
         curl_multi_add_handle( $queue , $ch );
         $map [(string) $ch ] = $url ;
     }
 
     $responses = array ();
     do {
         while (( $code = curl_multi_exec( $queue , $active )) == CURLM_CALL_MULTI_PERFORM) ;
 
         if ( $code != CURLM_OK) { break ; }
 
         // a request was just completed -- find out which one
         while ( $done = curl_multi_info_read( $queue )) {
 
             // get the info and content returned on the request
             $info = curl_getinfo( $done [ 'handle' ]);
             $error = curl_error( $done [ 'handle' ]);
             $results = callback(curl_multi_getcontent( $done [ 'handle' ]), $delay );
             $responses [ $map [(string) $done [ 'handle' ]]] = compact( 'info' , 'error' , 'results' );
 
             // remove the curl handle that just completed
             curl_multi_remove_handle( $queue , $done [ 'handle' ]);
             curl_close( $done [ 'handle' ]);
         }
 
         // Block for data in / output; error handling is done by curl_multi_exec
         if ( $active > 0) {
             curl_multi_select( $queue , 0.5);
         }
 
     } while ( $active );
 
     curl_multi_close( $queue );
     return $responses ;
}

3. 两种并发实现的性能对比

改进前后的性能对比试验在LINUX主机上进行, 测试时使用的并发队列如下:

简要说明下实验设计的原则和性能测试结果的格式: 为保证结果的可靠, 每组实验重复20次, 在单次实验中, 给定相同的接口URL集合, 分别测量Classic(指经典的并发机制)和Rolling(指改进后的并发机制)两种并发机制的耗时(秒为单位), 耗时短者胜出(Winner), 并计算节省的时间(Excellence, 秒为单位)以及性能提升比例(Excel. %). 为了尽量贴近真实的请求而又保持实验的简单, 在对返回结果的处理上只是做了简单的正则表达式匹配, 而没有进行其他复杂的操作. 另外, 为了确定结果处理回调对性能对比测试结果的影响, 可以使用usleep模拟现实中比较负责的数据处理逻辑(如提取, 分词, 写入文件或数据库等).

性能测试中用到的回调函数为:

1
2
3
4
5
function callback( $data , $delay ) {
     preg_match_all( '/<h3>(.+)<\/h3>/iU' , $data , $matches );
     usleep( $delay );
     return compact( 'data' , 'matches' );
}

数据处理回调无延迟时: Rolling Curl略优, 但性能提升效果不明显.

------------------------------------------------------------------------------------------------
Delay: 0 micro seconds, equals to 0 milli seconds
------------------------------------------------------------------------------------------------
Counter         Classic         Rolling         Winner          Excellence      Excel. %
------------------------------------------------------------------------------------------------
1               0.1193          0.0390          Rolling         0.0803          67.31%
2               0.0556          0.0477          Rolling         0.0079          14.21%
3               0.0461          0.0588          Classic         -0.0127         -21.6%
4               0.0464          0.0385          Rolling         0.0079          17.03%
5               0.0534          0.0448          Rolling         0.0086          16.1%
6               0.0540          0.0714          Classic         -0.0174         -24.37%
7               0.0386          0.0416          Classic         -0.0030         -7.21%
8               0.0357          0.0398          Classic         -0.0041         -10.3%
9               0.0437          0.0442          Classic         -0.0005         -1.13%
10              0.0319          0.0348          Classic         -0.0029         -8.33%
11              0.0529          0.0430          Rolling         0.0099          18.71%
12              0.0503          0.0581          Classic         -0.0078         -13.43%
13              0.0344          0.0225          Rolling         0.0119          34.59%
14              0.0397          0.0643          Classic         -0.0246         -38.26%
15              0.0368          0.0489          Classic         -0.0121         -24.74%
16              0.0502          0.0394          Rolling         0.0108          21.51%
17              0.0592          0.0383          Rolling         0.0209          35.3%
18              0.0302          0.0285          Rolling         0.0017          5.63%
19              0.0248          0.0553          Classic         -0.0305         -55.15%
20              0.0137          0.0131          Rolling         0.0006          4.38%
------------------------------------------------------------------------------------------------
Average         0.0458          0.0436          Rolling         0.0022          4.8%
------------------------------------------------------------------------------------------------
Summary: Classic wins 10 times, while Rolling wins 10 times

数据处理回调延迟5毫秒: Rolling Curl完胜, 性能提升40%左右.

------------------------------------------------------------------------------------------------
Delay: 5000 micro seconds, equals to 5 milli seconds
------------------------------------------------------------------------------------------------
Counter         Classic         Rolling         Winner          Excellence      Excel. %
------------------------------------------------------------------------------------------------
1               0.0658          0.0352          Rolling         0.0306          46.5%
2               0.0728          0.0367          Rolling         0.0361          49.59%
3               0.0732          0.0387          Rolling         0.0345          47.13%
4               0.0783          0.0347          Rolling         0.0436          55.68%
5               0.0658          0.0286          Rolling         0.0372          56.53%
6               0.0687          0.0362          Rolling         0.0325          47.31%
7               0.0787          0.0337          Rolling         0.0450          57.18%
8               0.0676          0.0391          Rolling         0.0285          42.16%
9               0.0668          0.0351          Rolling         0.0317          47.46%
10              0.0603          0.0317          Rolling         0.0286          47.43%
11              0.0714          0.0350          Rolling         0.0364          50.98%
12              0.0627          0.0215          Rolling         0.0412          65.71%
13              0.0617          0.0401          Rolling         0.0216          35.01%
14              0.0721          0.0226          Rolling         0.0495          68.65%
15              0.0701          0.0428          Rolling         0.0273          38.94%
16              0.0674          0.0352          Rolling         0.0322          47.77%
17              0.0452          0.0425          Rolling         0.0027          5.97%
18              0.0596          0.0366          Rolling         0.0230          38.59%
19              0.0679          0.0480          Rolling         0.0199          29.31%
20              0.0657          0.0338          Rolling         0.0319          48.55%
------------------------------------------------------------------------------------------------
Average         0.0671          0.0354          Rolling         0.0317          47.24%
------------------------------------------------------------------------------------------------
Summary: Classic wins 0 times, while Rolling wins 20 times

通过上面的性能对比, 在处理URL队列并发的应用场景中Rolling cURL应该是更加的选择, 并发量非常大(1000+)时, 可以控制并发队列的最大长度, 比如20, 每当1个URL返回并处理完毕之后立即加入1个尚未请求的URL到队列中, 这样写出来的代码会更加健壮, 不至于并发数太大而卡死或崩溃. 详细的实现请参考: http://code.google.com/p/rolling-curl/

5. 参考资料和延伸阅读

will0101
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Rolling cURL: PHP并发最佳案例
05-22
Rolling cURL: PHP并发最佳实践说明请移步：http://blog.csdn.net/initphp/article/details/7696461 谷歌代码下载请移步：https://code.google.com/p/rolling-curl/
PHP 通过原生CURL实现非阻塞（并发）请求模式
以技术为核心，不变可应万变
07-19 680
PHP异步非阻塞请求模式的实现
Rolling cURL: PHP并发最佳实践
刘阳龙Herman的专栏
06-18 3568
在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用cURL提供的curl_multi_*族函数实现简单的并发. 本文将探讨两种具体的实现方法, 并对不同的方法做简单的性能对比. 1. 经典cURL并发机制及其存在的问题 经典的cURL实现机制在网上很容易找到, 比如
php实现并发处理之curl篇
热门推荐
爱生活
07-18 1万+
原文地址：https://yq.aliyun.com/articles/27416?spm=5176.8091938.0.0.yloNYW php在并发处理方面的确不如java好。但是也有一些方法可以实现并发处理。比如使用curl就可以实现url的并发请求。 看到网上有人说使用curl会导致阻塞，即所有的请求数据都获取完毕后一并返回，然后再进行数据处理。而不是获取一个请求的数据就处理一
PHP curl 并发最佳实践代码分享
01-20
经典cURL并发机制及其存在的问题 经典的cURL实现机制在网上很容易找到, 比如参考PHP在线手册的如下实现方式: 复制代码 代码如下: function classic_curl($urls, $delay) { $queue = curl_multi_init(); $map = ...
php cURL和Rolling cURL并发方式比较
12-19
经典cURL并发机制及其存在的问题经典的cURL实现机制在网上很容易找到, 比如参考PHP在线手册的如下实现方式:复制代码 代码如下:function classic_curl($urls,$delay) {  $queue = curl_multi_init();  $map\n=
curl_multi php,PHP异步并发执行multi cURL详解
weixin_36379084的博客
03-10 373
官方提供的例子，一次执行多个连接，然后阻塞所有链接完成取内容，整个过程是阻塞的。
php curl并发,PHP CURL并发,多线程
weixin_36242060的博客
03-10 245
/*** php curl 并发 多线程* @author suconghou * @version v1.0* @blog http://blog.suconghou.cn* @date 2013.12.25**/class curl{private $mh;private $ch;function __construct(){$this-> mh=curl_multi_init();//...
RollingCurlX, PHP易于使用cURL多包装器.zip
09-18
RollingCurlX, PHP易于使用cURL多包装器 滚动卷X 是卷卷卷的fork 。 它的目标是使PHP中的并发http请求尽可能简单。许可证MIT版本3.0.0要求PHP 5.4 ：如何使用使用这个类非常容易。首先初始化要同时打开的最大并发请求数目的类。 所有请
php curl 长连接的实现
04-09
php curl中长连接实现，对于同一个域名和端口的访问，可以做到在同一个进程中复用同一个连接，特别是对于经常内网访问的地址，性能提升很大！
rolling_curl curl批量采集函数留份
weixin_30636089的博客
04-03 71
摘自：http://www.searchtb.com/2012/06/rolling-curl-best-practices.html 1 function rolling_curl($urls, $delay=0) { 2 $queue = curl_multi_init(); 3 $map = array(); 4 ...
php 防止curl并发-文件锁
拉米尔的博客
02-02 263
【代码】php 防止curl并发-文件锁
php curl高并发_php curl多请求并发使用案例
weixin_42299888的博客
03-08 496
curl大家一定使用过，但并发使用的情况估计不多。但在某些情况下确实比较有用，比如在同一请求里面调用多个他方接口，传统方法我们需要串行请求接口:file_get_contents('http://a.php');//1秒file_get_contents('http://b.php');//2秒file_get_contents('http://c.php');//2秒那在这里耗时为5秒，但运营c...
php curl 并发访问,PHP并发之用curl 并发减少后端访问时间
weixin_42425947的博客
03-24 295
本篇文章给大家分享的内容是关于PHP并发之用curl 并发减少后端访问时间 ，有着一定的参考价值，有需要的朋友可以参考一下首先，先了解下 php中的curl多线程函数：# curl_multi_add_handle# curl_multi_close# curl_multi_exec# curl_multi_getcontent# curl_multi_info_read# curl_multi_...
php 全站curl防止高并发,php实现并发处理之curl篇
weixin_36298476的博客
04-03 557
https://blog.csdn.net/lg_lin/article/details/51944115php在并发处理方面的确不如java好。但是也有一些方法可以实现并发处理。比如使用curl就可以实现url的并发请求。看到网上有人说使用curl会导致阻塞，即所有的请求数据都获取完毕后一并返回，然后再进行数据处理。而不是获取一个请求的数据就处理一个数据。其实这种说法是不对的，只能说明他在代码实...
php curl高并发_PHP curl批处理及多请求并发实现方法分析
weixin_32841641的博客
03-08 573
本文实例讲述了PHP curl批处理及多请求并发实现方法。分享给大家供大家参考，具体如下：在面试过程中遇到一个问题，加入一个一个网站访问一次需要两秒，我们如何实现在2秒左右请求三次？面试官想问的就是如何使用curl并发处理请求关于curl_multi_init()一般来说，想到要用curl_multi_init()时，目的是要同时请求多个url，而不是一个一个依次请求，否则就要curl_init(...
PHP curl并发请求
IT部落格
03-18 1219
前言 使用PHP的curl函数调用多个外部HTTP接口时，默认情况下是需要一个一个执行的，第一个请求结束后才会发起第二个请求，这样会显得效率低。如果各个请求之间没有强依赖关系，可以使用curl的多线程函数来发起请求，这样可以节省很多时间，提高效率。 代码 <?php function main() { $requests = [ [ 'url' => 'https://www.baidu.com', // 请求URL 'me
php 并发curl
最新发布
02-22
PHP并发CURL是指在PHP中同时发送多个HTTP请求，以提高程序的执行效率和响应速度。通常情况下，PHP使用单线程处理请求，即每次只能处理一个请求，而并发CURL可以在同一时间内处理多个请求。 在PHP中实现并发CURL可以使用多种方法，其中比较常用的有以下两种： 1. 使用curl_multi_*函数：PHP提供了一组用于处理并发CURL请求的函数，如curl_multi_init、curl_multi_add_handle、curl_multi_exec等。通过这些函数，可以创建一个CURL多句柄，将多个请求添加到句柄中，并同时执行这些请求。使用这种方法需要注意处理返回结果和错误信息。 2. 使用第三方库或框架：除了原生的curl_multi_*函数，还可以使用一些第三方库或框架来简化并发CURL的实现。例如，Guzzle是一个流行的PHP HTTP客户端库，它提供了简洁的API来处理并发请求，并且支持更多高级功能，如重试、超时控制等。 无论使用哪种方法，实现并发CURL都需要注意以下几点： - 设置合适的并发请求数量：过多的并发请求可能会导致服务器负载过高，而过少的并发请求可能无法充分利用服务器资源。需要根据具体情况设置合适的并发请求数量。 - 处理返回结果：并发CURL请求的返回结果通常是异步的，需要适当处理返回结果，如解析响应数据、处理错误信息等。 - 错误处理：在并发CURL请求中，可能会出现一些错误，如连接超时、请求失败等。需要适当处理这些错误，以保证程序的稳定性和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值