php网络爬虫教程_PHP网络爬虫之CURL详解

最新推荐文章于 2024-06-28 16:11:57 发布

一只与世无争的狒

最新推荐文章于 2024-06-28 16:11:57 发布

阅读量741

点赞数

文章标签： php网络爬虫教程

本文链接：https://blog.csdn.net/weixin_35696071/article/details/115098402

版权

php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。这个时候有人就要发问了：为什么你特么不用file_get_contents?

curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。

下面先分别介绍一些常用的函数。curl_init 初始化一个curl对话

curl_setopt 设置curl参数，即传输选项

curl_exec 执行请求

curl_close 关闭一个curl对话

主要是上面四个

curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码curl_errror 返回一个保护当前会话最近一次错误的字符串

下面直接上实例吧，相关解释都在注释里面

1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出<?php /**

* 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出

*/$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.baidu.com"); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来$output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭cURLecho str_replace("百度","屌丝",$output);?>

2. 通过调用WebService查询北京的当前天气<?php /**

* 实例描述：通过调用WebService查询北京的当前天气

*/$data = 'theCityName=北京';$curlobj = curl_init();

curl_setopt($curlobj, CURLOPT_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName");

curl_setopt($curlobj, CURLOPT_HEADER, 0);

curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($curlobj, CURLOPT_POST, 1);

curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);

curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",

"Content-length: ".strlen($data)

));

$rtn = curl_exec($curlobj);

if(!curl_errno($curlobj)){ // $info = curl_getinfo($curlobj);

// print_r($info);

echo $rtn;

} else { echo 'Curl error: ' . curl_error($curlobj);

}

curl_close($curlobj);?>

3. 模拟需要登录的网址并抓取网页的内容<?php /**

* 实例描述：模拟需要登录的网址并抓取网页的内容

*/$data=array('username' => 'promonkey',

'password' => '1q2w3e', 'remember'=>1);$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来// Cookie相关设置，这部分设置需要在所有会话开始之前设置date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE);

curl_setopt($curlobj, CURLOPT_HEADER, 0);

curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转curl_setopt($curlobj, CURLOPT_POST, 1);

curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);

curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",

"Content-length: ".strlen($data)

));

curl_exec($curlobj); // 执行curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");

curl_setopt($curlobj, CURLOPT_POST, 0);

curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"

));

$output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭cURLecho $output;?>

4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取<?php /**

* 实例描述：登录网站的信息抓取并下载个人空间页面

* 自定义实现页面链接跳转抓取

*/$data='username=demo_peter@126.com&password=123qwe&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来// Cookie相关设置，这部分设置需要在所有会话开始之前设置date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE);

curl_setopt($curlobj, CURLOPT_HEADER, 0);

// 注释掉这行，因为这个设置必须关闭安全模式以及关闭open_basedir，对服务器安全不利//curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($curlobj, CURLOPT_POST, 1);

curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);

curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",

"Content-length: ".strlen($data)

));

curl_exec($curlobj); // 执行curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");

curl_setopt($curlobj, CURLOPT_POST, 0);

curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"

));

$output=curl_redir_exec($curlobj); // 执行curl_close($curlobj); // 关闭cURLecho $output;/**

* 自定义实现页面链接跳转抓取

*/function curl_redir_exec($ch,$debug="") {

static $curl_loops = 0;

static $curl_max_loops = 20;

if ($curl_loops++ >= $curl_max_loops)

{

$curl_loops = 0;

return FALSE;

}

curl_setopt($ch, CURLOPT_HEADER, true); // 开启header才能够抓取到重定向到的新URL

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$data = curl_exec($ch);

// 分割返回的内容

$h_len = curl_getinfo($ch, CURLINFO_HEADER_SIZE);

$header = substr($data,0,$h_len); $data = substr($data,$h_len - 1); $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);

if ($http_code == 301 || $http_code == 302) {

$matches = array();

preg_match('/Location:(.*?)\n/', $header, $matches);

$url = @parse_url(trim(array_pop($matches)));

// print_r($url);

if (!$url)

{

//couldn't process the url to redirect to

$curl_loops = 0;

return $data;

}

$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));

if (!isset($url['scheme']))

$url['scheme'] = $last_url['scheme'];

if (!isset($url['host']))

$url['host'] = $last_url['host'];

if (!isset($url['path']))

$url['path'] = $last_url['path']; $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:'');

curl_setopt($ch, CURLOPT_URL, $new_url);

return curl_redir_exec($ch);

} else {

$curl_loops=0;

return $data;

}

从FTP服务器下载一个文件到本地<?php /**

* 实例描述：把本地文件上传到FTP服务器上

*/$curlobj = curl_init();

$localfile = 'ftp01.php';$fp = fopen($localfile, 'r');

curl_setopt($curlobj, CURLOPT_URL, "ftp://192.168.1.100/ftp01_uploaded.php");

curl_setopt($curlobj, CURLOPT_HEADER, 0);

curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($curlobj, CURLOPT_TIMEOUT, 300); // times out after 300scurl_setopt($curlobj, CURLOPT_USERPWD, "peter.zhou:123456");//FTP用户名：密码//上传和下载主要是下面子三个参数不一样curl_setopt($curlobj, CURLOPT_UPLOAD, 1);

curl_setopt($curlobj, CURLOPT_INFILE, $fp);

curl_setopt($curlobj, CURLOPT_INFILESIZE, filesize($localfile));$rtn = curl_exec($curlobj);

fclose($fp);

if(!curl_errno($curlobj)){ echo "Uploaded successfully.";

} else { echo 'Curl error: ' . curl_error($curlobj);

}

curl_close($curlobj);?>

6.下载网络上面的一个HTTPS的资源<?php /**

* 实例描述：下载网络上面的一个HTTPS的资源

*/$curlobj = curl_init();

// 初始化curl_setopt($curlobj, CURLOPT_URL, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js");

// 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true);