PHP采集

① 采集 snoopy  curl

就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。

可以通过三种方法来使用PHP访问到网页

    1. 使用file_get_contents()

         前提：在php.ini中设置允许打开一个网络的url地址。  

 使用这个函数时可以直接将路径写入函数中，将所选路径的内容加载出来，但是在访问网上的网址时必须连接网络

<?php   echo file_get_contents('https://www.baidu.com/');  
?>  

2. 使用socket技术采集：

    socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。

    例如要想获取这个页面的内容，http://tv.youku.com/?spm=a2hww.20023042.topNav.5~1~3!2~A，用socket写

如下：

<?php  
//连接,$error错误编号,$errstr错误的字符串,30s是连接超时时间  
$fp=fsockopen("www.youku.com",80,$errno,$errstr,30);  
if(!$fp) die("连接失败".$errstr);  
   
//构造http协议字符串，因为socket编程是最底层的，它还没有使用http协议  
$http="GET /?spm=a2hww.20023042.topNav.5~1~3!2~A HTTP/1.1\r\n";   //  \r\n表示前面的是一个命令  
$http.="Host:www.youku.com\r\n";  //请求的主机  
$http.="Connection:close\r\n\r\n";   // 连接关闭，最后一行要两个\r\n  
   
//发送这个字符串到服务器  
fwrite($fp,$http,strlen($http));  
//接收服务器返回的数据  
$data='';  
while (!feof($fp)) {  
$data.=fread($fp,4096);  //fread读取返回的数据，一次读取4096字节  
}  
//关闭连接  
fclose($fp);  
var_dump($data);  
?>  

打印出的结果如下，包含了返回的头信息及页面的源码：

③使用fopen获取网页源代码

<?php  
$url = 'https://www.baidu.com/';  
$opts = array(  
    'http'=>array(  
        'method'=>"GET",  
        'header'=>"Accept-language: en\r\n" .  
        "Cookie: foo=bar\r\n"  
    )  
);  
$context = stream_context_create($opts);  
  
$fp = fopen($url, 'r', false, $context);  
while(!feof($fp)) {  
    $result.= fgets($fp, 1024);  
}  
fpassthru($fp);  
fclose($fp);   
  
?>  

④ 使用curl

curl把HTTP协议都封装成了很多函数，直接传相应参数即可，降低了编写HTTP协议字符串的难度。

前提：在php.ini中要开启curl扩展。 

<?php  
         if (function_exists('curl_init')) {        //检查函数是否存在  
        $url = "https://www.baidu.com/";  
        $ch = curl_init();          //初始化curl会话  
        curl_setopt($ch, CURLOPT_URL, $url);    //设置url  
        curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "GET");//3.请求方式  
                curl_setopt($curl, CURLOPT_ENCODING, '');   //设置编码格式，为空表示支持所有格式的编码    
                //header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip"。  
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //将curl_exec()获取的信息以字符串返回，而不是直接输出。   0：直接输出  
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);   //0.发起执行前无限等待  
        $dxycontent = curl_exec($ch);   // 抓取URL并把它传递给浏览器  
        if (curl_errno($ch)) {  //如果出错  
            return curl_error($ch);  
        }  
        curl_close($ch);//关闭  
        echo $dxycontent;  
    } else {  
        echo '汗！貌似您的服务器尚未开启curl扩展，无法收到来自云落的通知，请联系您的主机商开启，本地调试请无视';  
    }  
?>  

4种方式的选择

网络之间通信主要使用的是以上四种。其中file_get_contents()与curl用的较多：如果要批量采集大量的数据时使用第二种【CURL】，性能好、稳定。

偶尔发几个请求发的频繁不密集时使用file_get_contents()。

附加：采取网站图片

<?php  
    $rs = file_get_contents("compress.zlib://".$url);  
    $preg = '#<img .* src="(.*)" .* >#isU';      
    preg_match($preg,$rs,$img);        //使用正则表达式查询出图片路径  
    $file = file_get_contents('https:'.$img[1]);  
    file_put_contents('baidu.png', $file);      
?>