PHP采集页面的四种方法

什么叫采集？

就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。

可以通过三种方法来使用PHP访问到网页

    1. 使用file_get_contents()

         前提：在php.ini中设置允许打开一个网络的url地址。    

        

        使用这个函数时可以直接将路径写入函数中，将所选路径的内容加载出来，但是在访问网上的网址时必须连接网络

<?php   echo file_get_contents('https://www.baidu.com/');
?>

2. 使用socket技术采集：

    socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。

    例如要想获取这个页面的内容，http://tv.youku.com/?spm=a2hww.20023042.topNav.5~1~3!2~A，用socket写如下：

[php]  view plain  copy

1. <?php  
2. //连接,$error错误编号,$errstr错误的字符串,30s是连接超时时间  
3. $fp=fsockopen("www.youku.com",80,$errno,$errstr,30);  
4. if(!$fp) die("连接失败".$errstr);  
5.    
6. //构造http协议字符串，因为socket编程是最底层的，它还没有使用http协议  
7. $http="GET /?spm=a2hww.20023042.topNav.5~1~3!2~A HTTP/1.1\r\n";   //  \r\n表示前面的是一个命令  
8. $http.="Host:www.youku.com\r\n";  //请求的主机  
9. $http.="Connection:close\r\n\r\n";   // 连接关闭，最后一行要两个\r\n  
10.    
11. //发送这个字符串到服务器  
12. fwrite($fp,$http,strlen($http));  
13. //接收服务器返回的数据  
14. $data='';  
15. while (!feof($fp)) {  
16. $data.=fread($fp,4096);  //fread读取返回的数据，一次读取4096字节  
17. }  
18. //关闭连接  
19. fclose($fp);  
20. var_dump($data);  
21. ?>  

打印出的结果如下，包含了返回的头信息及页面的源码：

 

3、使用fopen获取网页源代码

<?php
$url = 'https://www.baidu.com/';
$opts = array(
    'http'=>array(
        'method'=>"GET",
        'header'=>"Accept-language: en\r\n" .
        "Cookie: foo=bar\r\n"
    )
);
$context = stream_context_create($opts);

$fp = fopen($url, 'r', false, $context);
while(!feof($fp)) {
    $result.= fgets($fp, 1024);
}
fpassthru($fp);
fclose($fp); 

?>

4. 使用curl

curl把HTTP协议都封装成了很多函数，直接传相应参数即可，降低了编写HTTP协议字符串的难度。

前提：在php.ini中要开启curl扩展。 

<?php
         if (function_exists('curl_init')) {		//检查函数是否存在
		$url = "https://www.baidu.com/";
		$ch = curl_init();			//初始化curl会话
		curl_setopt($ch, CURLOPT_URL, $url);	//设置url
		curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "GET");//3.请求方式
                curl_setopt($curl, CURLOPT_ENCODING, '');   //设置编码格式，为空表示支持所有格式的编码  
                //header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip"。
		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //将curl_exec()获取的信息以字符串返回，而不是直接输出。   0：直接输出
		curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);	//0.发起执行前无限等待
		$dxycontent = curl_exec($ch);	// 抓取URL并把它传递给浏览器
		if (curl_errno($ch)) {	//如果出错
			return curl_error($ch);
		}
		curl_close($ch);//关闭
		echo $dxycontent;
	} else {
		echo '汗！貌似您的服务器尚未开启curl扩展，无法收到来自云落的通知，请联系您的主机商开启，本地调试请无视';
	}
?>

4种方式的选择

网络之间通信主要使用的是以上四种。其中file_get_contents()与curl用的较多：如果要批量采集大量的数据时使用第二种【CURL】，性能好、稳定。

偶尔发几个请求发的频繁不密集时使用file_get_contents()。

附加：采取网站图片

<?php
	$rs = file_get_contents("compress.zlib://".$url);
	$preg = '#<img .* src="(.*)" .* >#isU';    
	preg_match($preg,$rs,$img);        //使用正则表达式查询出图片路径
	$file = file_get_contents('https:'.$img[1]);
	file_put_contents('baidu.png', $file);    
?>