php中curl_multi的应用

相信许多人对php手册中语焉不详的curl_multi一族的函数头疼不已,它们文档少,给的例子 更是简单的让你无从借鉴,我也曾经找了许多网页,都没见一个完整的应用例子。

  • curl_multi_add_handle
  • curl_multi_close
  • curl_multi_exec
  • curl_multi_getcontent
  • curl_multi_info_read
  • curl_multi_init
  • curl_multi_remove_handle
  • curl_multi_select

    一般来说,想到要用这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求,否则不如自己循环去调curl_exec好了。

    步骤总结如下:

    第一步:调用curl_multi_init
    第二步:循环调用curl_multi_add_handle
    这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
    第三步:持续调用curl_multi_exec
    第四步:根据需要循环调用curl_multi_getcontent获取结果
    第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
    第六步:调用curl_multi_close

    这里有一个网上找的简单例子,其作者称为dirty的例子,(稍后我会说明为何dirty):

    /*
    Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1
    */

    $connomains   =   array (
    " http://www.cnn.com/ " ,
    " http://www.canada.com/ " ,
    " http://www.yahoo.com/ "
    );

    $mh   =  curl_multi_init();

    foreach  ( $connomains   as   $i   =>   $url ) {
         
    $conn [ $i ] = curl_init( $url );
          curl_setopt(
    $conn [ $i ] , CURLOPT_RETURNTRANSFER , 1 );
          curl_multi_add_handle (
    $mh , $conn [ $i ]);
    }

    do  {  $n = curl_multi_exec( $mh , $active ); }  while  ( $active );

    foreach  ( $connomains   as   $i   =>   $url ) {
          
    $res [ $i ] = curl_multi_getcontent( $conn [ $i ]);
          curl_close(
    $conn [ $i ]);
    }

    print_r ( $res );

     

    整个使用过程差不多就是这样,但是,这个简单代码有个致命弱点,就是在do循环的那段,在整个url请求期间是个死循环,它会轻易导致CPU占用100%。

    现在我们来改进它,这里要用到一个几乎没有任何文档的函数curl_multi_select了,虽然C的curl库对select有说明,但是,php里的接口和用法确与C中有不同。

    把上面do的那段改成下面这样:

                     do  {
                            
    $mrc   =  curl_multi_exec( $mh , $active );
                    } 
    while  ( $mrc   ==  CURLM_CALL_MULTI_PERFORM);
                    
    while  ( $active  and  $mrc   ==  CURLM_OK) {
                            
    if  (curl_multi_select( $mh !=   - 1 ) {
                                    
    do  {
                                            
    $mrc   =  curl_multi_exec( $mh ,   $active );
                                    } 
    while  ( $mrc   ==  CURLM_CALL_MULTI_PERFORM);
                            }
                    }

    因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,暂时没有数据就进入select阶段,新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。

    另外:还有一些细节的地方可能有时候要遇到:

    控制每一个请求的超时时间,在curl_multi_add_handle之前通过curl_setopt去做:
    curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

    判断是否超时了或者其他错误,在curl_multi_getcontent之前用:curl_error($conn[$i]);

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PHPcURL 库提供了一个 `curl_multi_*` 系列的函数,可以实现批量处理多个 cURL 请求。使用 `curl_multi_*` 函数,可以实现在一个 PHP 脚本同时发送多个 cURL 请求,而不需要等待每个请求的响应。 使用 `curl_multi_*` 函数的步骤如下: 1. 创建多个 cURL 句柄,设置每个句柄的选项。 2. 创建一个 cURL 多个句柄的管理器。 3. 将多个 cURL 句柄添加到管理器。 4. 执行多个 cURL 句柄,等待所有请求的响应。 5. 处理每个请求的响应。 下面是一个示例代码: ``` <?php // 创建多个 cURL 句柄 $urls = [ 'http://www.example.com', 'http://www.example.net', 'http://www.example.org', ]; $curl_handlers = []; foreach ($urls as $url) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $curl_handlers[] = $ch; } // 创建一个 cURL 多个句柄的管理器 $mh = curl_multi_init(); // 将多个 cURL 句柄添加到管理器 foreach ($curl_handlers as $ch) { curl_multi_add_handle($mh, $ch); } // 执行多个 cURL 句柄,等待所有请求的响应 $active = null; do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) == -1) { usleep(100); } do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } // 处理每个请求的响应 foreach ($curl_handlers as $ch) { $output = curl_multi_getcontent($ch); curl_multi_remove_handle($mh, $ch); curl_close($ch); // 处理响应 echo $output; } curl_multi_close($mh); ``` 上述代码将创建多个 cURL 句柄,将它们添加到一个 cURL 多个句柄的管理器,然后使用 `curl_multi_exec()` 函数并通过 `curl_multi_select()` 函数等待所有请求的响应。最后,使用 `curl_multi_getcontent()` 函数获取每个请求的响应,并处理它们。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值