Curl批量打开网址的PHP类,curl_multi_init

转载自:http://www.cnblogs.com/wc1217/archive/2012/03/08/2387565.html

 

<?php

/* curl多线程打开类
 * curl_multi 2012年3月15日 21:39:32做了一小修改..在非200 301 302的情况下返回空!
 * by wc1217
 */

class curl_multi{

    //Curl句柄
//private $curl_handle = null;
//网址
    private $url_list = array();
    //参数
    private $curl_setopt = array(
        'CURLOPT_RETURNTRANSFER' => 1, //结果返回给变量
        'CURLOPT_HEADER' => 0, //要HTTP头不?
        'CURLOPT_NOBODY' => 0, //不要内容?
        'CURLOPT_FOLLOWLOCATION' => 0, //不自动跟踪
        'CURLOPT_TIMEOUT' => 15//超时(s)
    );

    function __construct($seconds = 30){
        set_time_limit($seconds);
    }

    /*
     * 设置网址
     * @list 数组
*/

    public function setUrlList($list = array()){
        $this->url_list = $list;
    }

    /*
     * 设置参数
     * @cutPot array
*/

    public function setOpt($cutPot){
        $this->curl_setopt = $cutPot + $this->curl_setopt;
    }

    /*
     * 执行
     * @return array
*/

    public function exec(){
        try{
            $mh = curl_multi_init();
            $conn = array();
            foreach($this->url_list as $i => $url){
                $conn[$i] = curl_init($url);
                if(strtolower(substr($url, 0, 5)) == 'https'){
                    curl_setopt($conn[$i], CURLOPT_SSL_VERIFYPEER, false);
                    curl_setopt($conn[$i], CURLOPT_SSL_VERIFYHOST, false);
                }
                foreach($this->curl_setopt as $key => $val){
                    curl_setopt($conn[$i], preg_replace('/(CURLOPT_\w{1,})/ie', '$0', $key), $val);
                }
                curl_multi_add_handle($mh, $conn[$i]);
            }

            /* if($i == 0 && isset($conn[$i]))
              return array(curl_exec($conn[$i])); //一个网址的时候直接执行返回
*/
            $active = false;

            do{
                $mrc = curl_multi_exec($mh, $active);
            }while($mrc == CURLM_CALL_MULTI_PERFORM);

            //执行状态
//$http_code = array();
            $res = array();

            while($active and $mrc == CURLM_OK){
                if(curl_multi_select($mh) != -1){//php5.3.18+的某些版本会一直返回-1,请去掉此处的if
                    do{
                        $mrc = curl_multi_exec($mh, $active);
                    }while($mrc == CURLM_CALL_MULTI_PERFORM);
                    //得到线程信息
                    /* $mhinfo = curl_multi_info_read($mh);
                      if(false !== $mhinfo){
                      $chinfo = curl_getinfo($mhinfo['handle']);
                      //$http_code[] = $chinfo['url'] . ' : ' . $chinfo['http_code']; // == 0 || $chinfo['http_code'] == 404;
                      //得到httpCode为200的内容 如果CURLOPT_FOLLOWLOCATION且有Location头标记的话$chinfo['url']会是最后一个URL
                      $res[array_search($chinfo['url'], $this->url_list)] = ($chinfo['http_code'] == 200 ? curl_multi_getcontent($mhinfo['handle']) : 'null');
                      curl_multi_remove_handle($mh, $mhinfo['handle']);   //用完马上释放资源
                      curl_close($mhinfo['handle']);
                      } */
                }
            }
            //print_r($http_code);
            foreach($this->url_list as $i => $url){
                $status = curl_getinfo($conn[$i], CURLINFO_HTTP_CODE);
                $res[$i] = (($status == 200 || $status == 302 || $status == 301) ? curl_multi_getcontent($conn[$i]) : null);
                curl_close($conn[$i]);
                curl_multi_remove_handle($mh, $conn[$i]);   //用完马上释放资源 
            }
            curl_multi_close($mh);
        }catch(Exception $e){
            echo '错误: ' . $e->getMessage();
        }
        return $res;
    }

}

?>

PHPcURL 库提供了一个 `curl_multi_*` 系列的函数,可以实现批量处理多个 cURL 请求。使用 `curl_multi_*` 函数,可以实现在一个 PHP 脚本中同时发送多个 cURL 请求,而不需要等待每个请求的响应。 使用 `curl_multi_*` 函数的步骤如下: 1. 创建多个 cURL 句柄,设置每个句柄的选项。 2. 创建一个 cURL 多个句柄的管理器。 3. 将多个 cURL 句柄添加到管理器中。 4. 执行多个 cURL 句柄,等待所有请求的响应。 5. 处理每个请求的响应。 下面是一个示例代码: ``` <?php // 创建多个 cURL 句柄 $urls = [ 'http://www.example.com', 'http://www.example.net', 'http://www.example.org', ]; $curl_handlers = []; foreach ($urls as $url) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $curl_handlers[] = $ch; } // 创建一个 cURL 多个句柄的管理器 $mh = curl_multi_init(); // 将多个 cURL 句柄添加到管理器中 foreach ($curl_handlers as $ch) { curl_multi_add_handle($mh, $ch); } // 执行多个 cURL 句柄,等待所有请求的响应 $active = null; do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) == -1) { usleep(100); } do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } // 处理每个请求的响应 foreach ($curl_handlers as $ch) { $output = curl_multi_getcontent($ch); curl_multi_remove_handle($mh, $ch); curl_close($ch); // 处理响应 echo $output; } curl_multi_close($mh); ``` 上述代码将创建多个 cURL 句柄,将它们添加到一个 cURL 多个句柄的管理器中,然后使用 `curl_multi_exec()` 函数并通过 `curl_multi_select()` 函数等待所有请求的响应。最后,使用 `curl_multi_getcontent()` 函数获取每个请求的响应,并处理它们。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值