cURL multi批处理实现及避免cURL multi造成CPU负载过高问题

cURL multi批处理实现及避免cURL multi造成CPU负载过高问题

=============================

cURL multi这些函数时，目的显然应该是要同时请求多个url，而不是一个一个依次请求，否则不如自己循环去调curl_exec好了。

http://php.net/manual/en/function.curl-multi-exec.php

http://php.net/manual/zh/function.curl-multi-exec.php

这只返回错误关于整个多堆栈。 有可能还有 发生的问题对个别情况,即使这个函数返回CURLM_OK。

Note:

This only returns errors regarding the whole multi stack. There might still have occurred problems on individual transfers even when this function returns CURLM_OK.

==================================================================

http://www.phpddt.com/php/curl_multi.html

简单的cURL处理如下：

  
  
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.phpddt.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
$con = curl_exec($ch);
curl_close($ch);

cURL还提供了批量处理会话，下面是 cURL批量处理相关函数：

• curl_multi_init — 返回一个新cURL批处理句柄
• curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄
• curl_multi_exec — 解析一个cURL批处理句柄
• curl_multi_getcontent — 如果设置了CURLOPT_RETURNTRANSFER，则返回获取的输出的文本流
• curl_multi_select — 等待所有cURL批处理中的活动连接
• curl_multi_info_read — 获取当前解析的cURL的相关传输信息
• curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源
• curl_multi_close — 关闭一组cURL句柄

看下面使用 curl multi批处理的例子：

    
    
<?php
/**
 * cURL multi批量处理
 * 
 * @author mckee
 * @link http://www.phpddt.com
 * 
 */
 
$url_array = array(
    'http://www.phpddt.com/',
    'http://www.phpddt.com/php/627.html',
    'http://www.phpddt.com/php/258.html'
);
 
$handles = $contents = array(); 
 
//初始化curl multi对象
$mh = curl_multi_init();
 
//添加curl 批处理会话
foreach($url_array as $key => $url)
{
    $handles[$key] = curl_init($url);
    curl_setopt($handles[$key], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($handles[$key], CURLOPT_TIMEOUT, 10);
    
    curl_multi_add_handle($mh, $handles[$key]);
}
 
//======================执行批处理句柄=================================
$active = null;
do {
    $mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
 
 
while ($active and $mrc == CURLM_OK) {
    
    if(curl_multi_select($mh) === -1){
        usleep(100);
    }
    do {
        $mrc = curl_multi_exec($mh, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);
 
}
//====================================================================
 
//获取批处理内容
foreach($handles as $i => $ch)
{
    $content = curl_multi_getcontent($ch);
    $contents[$i] = curl_errno($ch) == 0 ? $content : '';
}
 
//移除批处理句柄
foreach($handles as $ch)
{
    curl_multi_remove_handle($mh, $ch);
}
 
//关闭批处理句柄
curl_multi_close($mh);
 
print_r($contents);

上面这段程序重点是执行批处理的那段，普通的处理：

    
    
do { $n=curl_multi_exec($mh,$active); } while ($active);

会造成CPU Loading过高，因为$active要等全部url数据接受完毕才变成false，所以这里用到了 curl_multi_exec的返回值判断是否还有数据，当有数据的时候就不停调用curl_multi_exec，没有执行数据就会sleep，如此就会避免CPU Loading 100%了。
参考资料：
（1） PHP手册关于cURL教程
（2） curl预定义常量