PHP xpath抓取数据

 

public function test()
    {
        # file_get_contents 没效果  要用curl-http请求
        # $html = file_get_contents('https://news.ke.com/bj/baike/0033/');
        $html = $this->http_request('https://news.ke.com/bj/baike/0033/');
        $dom = new \DOMDocument();
        // 忽略html不严格的格式 - 过滤报错信息
        libxml_use_internal_errors(true);
        $dom->loadHTML($html);
        //halt($dom);
        // 转为xpath对象
        $xpath = new \DOMXPath($dom);
        // 查询路径   #谷歌浏览器右击标签  copy->复制xpath
        //$query = '/html/head/title';
        # 它会取得所有a标签class为tit LOGCLICK的元素
        # $query = '/html/body/div[3]/div[2]/div/div[2]/div[2]//div/a[contains(@class,"tit LOGCLICK")]';
        # 或者这样写也可以 同上
         $query = '//a[contains(@class,"tit LOGCLICK")]';
        // 查询所有的图片 - //img 不管层级查找img   @data-original查找所有为data-original属性的图片
        // $query = '//img/@data-original';
        $noteList = $xpath->query($query);
        // 不遍历得到的是一个长度 length
        foreach ($noteList as $item){
            dump($item); // 这里得到一个对象
        }
    }

# curl - http请求 

function http_request($url,$data = null){
        // php curl 发起get或者post请求
        // curl 初始化
        $curl = curl_init();    // curl 设置
        curl_setopt($curl, CURLOPT_URL, $url);
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);  // 校验证书节点
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, FALSE);// 校验证书主机
        // 判断 $data get  or post
        if ( !empty($data) ) {
            curl_setopt($curl, CURLOPT_POST, 1);
            curl_setopt($curl, CURLOPT_POSTFIELDS, $data);
        }
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  // 以文件流的形式 把参数返回进来
        // 如果这一行 不写你就收不到 返回值
        // 执行
        $res = curl_exec($curl);
        curl_close($curl);
        return $res;
    }