thread进行多线程抓取

<?php
    class Myquery extends \Thread{
        public $url;
        public $arr=[];

        public function httpPost($url, $params=[]) {
            $curl = curl_init (); // 启动一个CURL会话
            curl_setopt ( $curl, CURLOPT_URL, $url ); // 要访问的地址
            curl_setopt ( $curl, CURLOPT_SSL_VERIFYPEER, FALSE ); // 对认证证书来源的检查
            curl_setopt ( $curl, CURLOPT_SSL_VERIFYHOST, FALSE ); // 从证书中检查SSL加密算法是否存在
            curl_setopt ( $curl, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)' ); // 模拟用户使用的浏览器
            curl_setopt($curl, CURLOPT_POST, true);
            curl_setopt ( $curl, CURLOPT_POSTFIELDS, http_build_query($params)); // Post提交的数据包
            curl_setopt ( $curl, CURLOPT_TIMEOUT, 30 ); // 设置超时限制防止死循环
            curl_setopt ( $curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
            $result = curl_exec ( $curl ); // 执行操作
            curl_close ( $curl ); // 关闭CURL会话

            $result = json_decode($result, true);
            return $result;
        }
        /**
        pthread使用注意事项2
        线程创建后，不能使用父线程的变量，诸如$GLOBALS或global等用法都无法操作父线程的全局变量

        线程类的属性不能直接进行哈希表（数组）操作，如：

        //这样是无效的
        $this->var1["hello"] = "world"; 
        //改为
        $this->var1 = ["hello"=>"world"];
        
        因为线程类属性的赋值是通过序列化实现的，其本质是存储了序列化数据。

        不能调用父线程的redis、mysql等非标量的成员变量（引用类型的对象，涉及父线程的内存空间），如果是标量就可以。

        最佳实践：为了安全起见，建议不要引用父线程的任意变量，用到的参数都通过Thread构造函数传入，可以把php线程当成轻量级的进程，不要做共享内存的操作。
        ————————————————
        版权声明：本文为CSDN博主「老鬼行帮」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
        原文链接：https://blog.csdn.net/u012386544/article/details/84563015        
        */
        public function __construct($url){
            $this->url = $url;
            //php线程内不能用这种方式赋值
            $this->arr['a']=$url;
        }
        public function run(){
            $this->arr=['t'=>$this->getCurrentThreadId(),'result'=>$this->httpPost($this->url)];
        }
    }
    function threadDemo($obj=[]){
        foreach($obj as $v){
            $v->start();
/*            if($v->start()){
                //printf("Thread #%lu says: %s by %s\n", $v->getThreadId(), $v->join(),$v->getCreatorId());
                $v->join();
                //var_dump($v->arr);b
            }*/
        } 
        foreach($obj as $v){
            $v->join();
        }         
    }
    $obj = [];
    for($i=0;$i<20;$i++){
        $obj[] = new Myquery('https://www.baidu.com/home/msg/data/personalcontent?callback=jQuery110208347342888173108_1575697346913&num=8&_req_seqid=b96c44c0001993ee&sid=1444_21100_30210_20697&_=1575697346914');        
    }

    $b = microtime(true);
    threadDemo($obj);
    $e = microtime(true);
    echo 'thread time:'.($e-$b).PHP_EOL;

    $b = microtime(true);
    for($i=0;$i<20;$i++){
        httpPost('https://www.baidu.com/home/msg/data/personalcontent?callback=jQuery110208347342888173108_1575697346913&num=8&_req_seqid=b96c44c0001993ee&sid=1444_21100_30210_20697&_=1575697346914');
    }
    $e = microtime(true);
    echo 'for time:'.($e-$b).PHP_EOL;
    function httpPost($url, $params=[]) {
        $curl = curl_init (); // 启动一个CURL会话
        curl_setopt ( $curl, CURLOPT_URL, $url ); // 要访问的地址
        curl_setopt ( $curl, CURLOPT_SSL_VERIFYPEER, FALSE ); // 对认证证书来源的检查
        curl_setopt ( $curl, CURLOPT_SSL_VERIFYHOST, FALSE ); // 从证书中检查SSL加密算法是否存在
        curl_setopt ( $curl, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)' ); // 模拟用户使用的浏览器
        curl_setopt($curl, CURLOPT_POST, true);
        curl_setopt ( $curl, CURLOPT_POSTFIELDS, http_build_query($params)); // Post提交的数据包
        curl_setopt ( $curl, CURLOPT_TIMEOUT, 30 ); // 设置超时限制防止死循环
        curl_setopt ( $curl, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
        $result = curl_exec ( $curl ); // 执行操作
        curl_close ( $curl ); // 关闭CURL会话

        $result = json_decode($result, true);
        return $result;
    }

 

附执行时间:

thread time:1.5530889034271
for time:4.2192420959473