php怎么开启采集,PHP采集页面的四种方法-Go语言中文社区

什么叫采集？

就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。

可以通过三种方法来使用PHP访问到网页

1. 使用file_get_contents()

前提：在php.ini中设置允许打开一个网络的url地址。

使用这个函数时可以直接将路径写入函数中，将所选路径的内容加载出来，但是在访问网上的网址时必须连接网络<?php echo file_get_contents('https://www.baidu.com/');

?>

2. 使用socket技术采集：

socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。

//连接,$error错误编号,$errstr错误的字符串,30s是连接超时时间

$fp=fsockopen("www.youku.com",80,$errno,$errstr,30);

if(!$fp)die("连接失败".$errstr);

//构造http协议字符串，因为socket编程是最底层的，它还没有使用http协议

$http="GET /?spm=a2hww.20023042.topNav.5~1~3!2~A HTTP/1.1rn";//  rn表示前面的是一个命令

$http.="Host:www.youku.comrn";//请求的主机

$http.="Connection:closernrn";// 连接关闭，最后一行要两个rn

//发送这个字符串到服务器

fwrite($fp,$http,strlen($http));

//接收服务器返回的数据

$data='';

while(!feof($fp)) {

$data.=fread($fp,4096);//fread读取返回的数据，一次读取4096字节

}

//关闭连接

fclose($fp);

var_dump($data);

?>

打印出的结果如下，包含了返回的头信息及页面的源码：

3、使用fopen获取网页源代码<?php

$url = 'https://www.baidu.com/';

$opts = array(

'http'=>array(

'method'=>"GET",

'header'=>"Accept-language: enrn" .

"Cookie: foo=barrn"

)

);

$context = stream_context_create($opts);

$fp = fopen($url, 'r', false, $context);

while(!feof($fp)) {

$result.= fgets($fp, 1024);

}

fpassthru($fp);

fclose($fp);

?>

4. 使用curl

curl把HTTP协议都封装成了很多函数，直接传相应参数即可，降低了编写HTTP协议字符串的难度。

前提：在php.ini中要开启curl扩展。<?php

if (function_exists('curl_init')) {//检查函数是否存在

$url = "https://www.baidu.com/";

$ch = curl_init();//初始化curl会话

curl_setopt($ch, CURLOPT_URL, $url);//设置url

curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "GET");//3.请求方式

curl_setopt($curl, CURLOPT_ENCODING, ''); //设置编码格式，为空表示支持所有格式的编码

//header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip"。

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以字符串返回，而不是直接输出。 0：直接输出

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);//0.发起执行前无限等待

$dxycontent = curl_exec($ch);// 抓取URL并把它传递给浏览器

if (curl_errno($ch)) {//如果出错

return curl_error($ch);

}

curl_close($ch);//关闭

echo $dxycontent;

} else {

echo '汗！貌似您的服务器尚未开启curl扩展，无法收到来自云落的通知，请联系您的主机商开启，本地调试请无视';

}

?>

4种方式的选择

网络之间通信主要使用的是以上四种。其中file_get_contents()与curl用的较多：如果要批量采集大量的数据时使用第二种【CURL】，性能好、稳定。

偶尔发几个请求发的频繁不密集时使用file_get_contents()。

附加：采取网站图片<?php

$rs = file_get_contents("compress.zlib://".$url);

$preg = '##isU';    

preg_match($preg,$rs,$img);        //使用正则表达式查询出图片路径

$file = file_get_contents('https:'.$img[1]);

file_put_contents('baidu.png', $file);

?>