PHP网络爬虫之CURL学习

于 2024-09-07 23:29:23 发布
阅读量565 收藏 2
点赞数 5
文章标签： php 爬虫 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86391812/article/details/142006504
版权
  • curl_init 初始化一个curl对话
  • curl_setopt 设置curl参数，即传输选项
  • curl_exec 执行请求
  • curl_close 关闭一个curl对话

主要是上面四个

  • curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码
  • curl_errror 返回一个保护当前会话最近一次错误的字符串

下面直接上实例吧，相关解释都在注释里面

1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出

<?php
/\*\*
 \* 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
 \*/
$curlobj = curl\_init(); // 初始化
curl\_setopt($curlobj, CURLOPT\_URL, "http://www.baidu.com"); // 设置访问网页的URL
curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来
$output=curl\_exec($curlobj); // 执行
curl\_close($curlobj); // 关闭cURL
echo str\_replace("百度","屌丝",$output);
?>

2. 通过调用WebService查询北京的当前天气

<?php
/\*\*
 \* 实例描述：通过调用WebService查询北京的当前天气
 \*/
$data = 'theCityName=北京';
$curlobj = curl\_init(); 
curl\_setopt($curlobj, CURLOPT\_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName"); 
curl\_setopt($curlobj, CURLOPT\_HEADER, 0); 
curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, 1); 
curl\_setopt($curlobj, CURLOPT\_POST, 1); 
curl\_setopt($curlobj, CURLOPT\_POSTFIELDS, $data); 
curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", 
 "Content-length: ".strlen($data)
 )); 
$rtn = curl\_exec($curlobj); 
if(!curl\_errno($curlobj)){
 // $info = curl\_getinfo($curlobj); 
 // print\_r($info);
 echo $rtn; 
} else {
 echo 'Curl error: ' . curl\_error($curlobj);
}
curl\_close($curlobj);
?>

3. 模拟需要登录的网址并抓取网页的内容

<?php
/\*\*
 \* 实例描述：模拟需要登录的网址并抓取网页的内容
 \*/
$data=array('username' => 'promonkey', 
 'password' => '1q2w3e',
 'remember'=>1);
$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';
$curlobj = curl\_init(); // 初始化
curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URL
curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来

// Cookie相关设置，这部分设置需要在所有会话开始之前设置
date\_default\_timezone\_set('PRC'); // 使用Cookie时，必须先设置时区
curl\_setopt($curlobj, CURLOPT\_COOKIESESSION, TRUE); 
curl\_setopt($curlobj, CURLOPT\_HEADER, 0); 
curl\_setopt($curlobj, CURLOPT\_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转

curl\_setopt($curlobj, CURLOPT\_POST, 1); 
curl\_setopt($curlobj, CURLOPT\_POSTFIELDS, $data); 
curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", 
 "Content-length: ".strlen($data)
 )); 
curl\_exec($curlobj); // 执行
curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/space/index");
curl\_setopt($curlobj, CURLOPT\_POST, 0); 
curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("Content-type: text/xml"
 )); 
$output=curl\_exec($curlobj); // 执行
curl\_close($curlobj); // 关闭cURL
echo $output;
?>

4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取

<?php
/\*\*
 \* 实例描述：登录网站的信息抓取并下载个人空间页面
 \* 自定义实现页面链接跳转抓取
 \* 
 \*/
$data='username=demo\_peter@126.com&password=123qwe&remember=1';
$curlobj = curl\_init(); // 初始化
curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URL
curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来

// Cookie相关设置，这部分设置需要在所有会话开始之前设置
date\_default\_timezone\_set('PRC'); // 使用Cookie时，必须先设置时区
curl\_setopt($curlobj, CURLOPT\_COOKIESESSION, TRUE); 
curl\_setopt($curlobj, CURLOPT\_HEADER, 0); 
// 注释掉这行，因为这个设置必须关闭安全模式 以及关闭open\_basedir，对服务器安全不利
//curl\_setopt($curlobj, CURLOPT\_FOLLOWLOCATION, 1); 

curl\_setopt($curlobj, CURLOPT\_POST, 1); 
curl\_setopt($curlobj, CURLOPT\_POSTFIELDS, $data); 
curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", 
 "Content-length: ".strlen($data)
 )); 
curl\_exec($curlobj); // 执行
curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/space/index");
curl\_setopt($curlobj, CURLOPT\_POST, 0); 
curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("Content-type: text/xml"
 )); 
$output=curl\_redir\_exec($curlobj); // 执行
curl\_close($curlobj); // 关闭cURL
echo $output;

/\*\*
 \* 自定义实现页面链接跳转抓取
 \*/
function curl\_redir\_exec($ch,$debug="") 
{ 
 static $curl\_loops = 0; 
 static $curl\_max\_loops = 20; 

 if ($curl\_loops++ >= $curl\_max\_loops) 
 { 
 $curl\_loops = 0; 
 return FALSE; 
 } 
 curl\_setopt($ch, CURLOPT\_HEADER, true); // 开启header才能够抓取到重定向到的新URL
 curl\_setopt($ch, CURLOPT\_RETURNTRANSFER, true); 
 $data = curl\_exec($ch); 
 // 分割返回的内容
 $h\_len = curl\_getinfo($ch, CURLINFO\_HEADER\_SIZE); 
 $header = substr($data,0,$h\_len);
 $data = substr($data,$h\_len - 1);

 $http\_code = curl\_getinfo($ch, CURLINFO\_HTTP\_CODE); 
 if ($http\_code == 301 || $http\_code == 302) { 
 $matches = array(); 
 preg\_match('/Location:(.\*?)\n/', $header, $matches); 
 $url = @parse\_url(trim(array\_pop($matches))); 
 // print\_r($url); 
 if (!$url) 
 { 
 //couldn't process the url to redirect to 
 $curl\_loops = 0; 
 return $data; 
 } 
 $last\_url = parse\_url(curl\_getinfo($ch, CURLINFO\_EFFECTIVE\_URL)); 
 if (!isset($url['scheme'])) 
 $url['scheme'] = $last\_url['scheme']; 
 if (!isset($url['host'])) 
 $url['host'] = $last\_url['host']; 
 if (!isset($url['path'])) 
 $url['path'] = $last\_url['path'];

 $new\_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:''); 
 curl\_setopt($ch, CURLOPT\_URL, $new\_url); 

 return curl\_redir\_exec($ch); 
 } else { 
 $curl\_loops=0; 
 return $data; 
 } 
} 
?>

从FTP服务器下载一个文件到本地

<?php
/\*\*
 \* 实例描述：把本地文件上传到FTP服务器上
 \*/
$curlobj = curl\_init(); 
$localfile = 'ftp01.php';
$fp = fopen($localfile, 'r');

curl\_setopt($curlobj, CURLOPT\_URL, "ftp://192.168.1.100/ftp01\_uploaded.php"); 
curl\_setopt($curlobj, CURLOPT\_HEADER, 0); 
curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, 1); 
curl\_setopt($curlobj, CURLOPT\_TIMEOUT, 300); // times out after 300s
curl\_setopt($curlobj, CURLOPT\_USERPWD, "peter.zhou:123456");//FTP用户名：密码

//上传和下载主要是下面子三个参数不一样
curl\_setopt($curlobj, CURLOPT\_UPLOAD, 1);
curl\_setopt($curlobj, CURLOPT\_INFILE, $fp);
curl\_setopt($curlobj, CURLOPT\_INFILESIZE, filesize($localfile));
$rtn = curl\_exec($curlobj); 
fclose($fp); 
if(!curl\_errno($curlobj)){
 echo "Uploaded successfully."; 
} else {
 echo 'Curl error: ' . curl\_error($curlobj);
}
curl\_close($curlobj);
?>

6.下载网络上面的一个HTTPS的资源

<?php
/\*\*
 \* 实例描述：下载网络上面的一个HTTPS的资源
 \*/
$curlobj = curl\_init(); // 初始化
curl\_setopt($curlobj, CURLOPT\_URL, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js"); // 设置访问网页的URL
curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来

// 设置HTTPS支持
date\_default\_timezone\_set('PRC'); // 使用Cookie时，必须先设置时区
curl\_setopt($curlobj, CURLOPT\_SSL\_VERIFYPEER, 0); // 对认证证书来源的检查从证书中检查SSL加密算法是否存在
curl\_setopt($curlobj, CURLOPT\_SSL\_VERIFYHOST, 2); // 

$output=curl\_exec($curlobj); // 执行
curl\_close($curlobj); // 关闭cURL
echo $output;
?>

原生PHP模拟http请求

有时候为了简单模拟一个http请求，这样就去用curl有点浪费，其实php自身已经可以实现这个功能，

需要在服务器端模拟 POST/GET 等请求，也就是在 PHP 程序中去实现模拟，改怎么做到呢？或者说，在 PHP 程序里，给你一个数组，如何将这个数组 POST/GET 到另外一个地址呢？当然，使用 CURL 很容易办到，那么如果不使用 CURL 库，又该怎么办呢？其实，在 PHP 里已经有相关的函数实现了，这个函数就是接下来要讲的 stream_context_create()。

直接 show you the code，这是最好的方法：

$data = array(
    'foo'=>'bar', 
    'baz'=>'boom',
2401_86391812
关注
php利用curl爬虫爬取微信公众号，防止ip封锁
Jason18086483725的博客
11-13 5296
public function test1Action(){ //搜狗抓取微信公众号 $url="http://weixin.sogou.com/weixin?type=1&s_from=input&query=农产品&ie=utf8"; $ifpost = 0; $datafields = ''; $cookiefile = ''; $v = false; //构造随机ip $i
php编写的网络爬虫
04-27
**PHP网络爬虫详解** PHP作为一种广泛应用于Web开发的服务器端脚本语言，因其易于学习且功能强大，常被用于创建动态网页...通过学习和实践，你可以创建出高效且灵活的网络爬虫，为数据分析和信息获取提供强大的支持。
PHP 中的 cURL 爬虫实战基础
weixin_30345577的博客
04-27 219
最近准备入手 PHP 爬虫，发现 PHP 的 cURL 这一知识点不可越过。本文探讨基础实战，需要提前了解命令行的使用并会进行 PHP 的环境搭建。 cURL 的概念 cURL，Client URL Library Functions，是利用 URL 语法在命令行方式下工作的开源文件传输工具，被广泛应用在 Unix、 Linux 发行版本中，并且有 Win32、Win64 下的移植版本。常...
独立开发者系列（43）—— 详解CURL函数库
最新发布
大梁来了的博客
08-22 831
和python里面的该库作用是类似的。该库在编程里面使用的频率非常高，基本应用里面，除了对MYSQL的交互，就是对远程API的获取，可以理解为第二使用的库。而这个是解决问题的关键，基本上怎么处理错误（90%以上的逻辑都是正确的，但是遇到10%的错误请求，会让我们系统瘫痪，所以重点是监测请求，在开发里面，对这个错误的监测不重视，吃过大亏）。资源是和int boolen float object 一样被定义的类型 ，在常用的编程里面，很少会有资源类型的概念，而curl_init就是打开一个初始化的资源。
php爬虫神器cURL
weixin_34219944的博客
04-27 228
cURL 网页资源（编写网页爬虫） 接口资源 ftp服务器文件资源 其他资源 static public function curl($url, $data = array(), $timeout = 5) { $ch = curl_init (); if (is_array ( $data ) &amp;&amp; $data) { //...
PHP网络爬虫之CURL
weixin_41981080的博客
10-17 353
PHP的CURL php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。 这个时候有人就要发问了：为什么你特么不用file_get_contents? curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。 下面先分别介绍一些常用的函数。 curl_init 初始化一个curl对话 curl_setopt 设置curl...
PHP中使用cURL操作网络资源1
08-08
在PHP编程中，cURL库是一个非常强大的工具，用于处理各种网络请求，包括HTTP、HTTPS等协议。在本文中，我们将深入探讨如何在PHP 7环境中利用cURL操作网络资源，包括网页抓取、调用WebService接口以及访问HTTPS资源。...
php 使用curl模拟ip和来源进行访问的实现方法
10-19
接下来，我们有一个简单的cURL调用函数`doCurl()`，用于普通无模拟的网络访问： ```php function doCurl($url, $data = array(), $header = array(), $timeout = 30) { // cURL初始化及配置 // ... } ``` 当我们...
用php curl爬虫模拟登录东华理工大学教务系统，并获取成绩.zip
01-18
软件开发设计：PHP、QT、应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#等语言的项目开发与学习资料 硬件与设备：单片机、EDA、proteus、RTOS、包括计算机硬件、服务器、网络设备、...
PHP爬虫之百万级别知乎用户数据爬取与分析
10-22
总结起来，PHP爬虫之百万级别知乎用户数据爬取与分析的知识点包括开发环境的搭建、curl库的使用、正则表达式的应用、图片防盗链处理、多层遍历的爬取逻辑、MySQL数据库的数据存储和管理以及数据分析技巧。...
php网络爬虫教程_PHP网络爬虫之CURL详解
weixin_35696071的博客
03-09 761
php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。这个时候有人就要发问了：为什么你特么不用file_get_contents?curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。下面先分别介绍一些常用的函数。curl_init 初始化一个curl对话curl_setopt 设置curl参数，即传输选项curl_exec 执...
使用PHP CURL制作爬虫抓取数据
大白菜啊
10-23 1402
刚刚使用CURL测试，发现CURL是可以获取https的网页的，这样抓取网页内容就变简单了，以抓取w3school的php教程课程表为例： CURL请求函数 function getContent($url) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT...
PHP cURL应用实现模拟登录与采集使用方法详解
weixin_33713503的博客
09-07 261
对于做过数据采集的人来说，cURL一定不会陌生。虽然在PHP中有file_get_contents函数可以获取远程链接的数据，但是它的可控制性太差了，对于各种复杂情况的采集情景，file_get_contents显得有点无能为力。因此，本文将为你介绍采集神器cURL的使用。 工具 火狐浏览器（FireFox） + Firebug “工欲善其事，必先利其器。” 在分析案例之前，先让我们学习一下如何利...
php爬虫之cURL学习（一）
K先生的博客
01-31 833
1、先来一个最简单的cURL爬虫实例，抓取百度首页 $ch=curl_init();//初始化一个cURL会话 curl_setopt($ch,CURLOPT_URL,"http://www.baidu.com/");//设置这个会话的URL（这里要注意url地址要写成http，写成https会抓取空白，原因后面会说） curl_exec($ch);//执行这个会话 curl_close(
PHP之cURL（爬虫）
weixin_30740581的博客
02-10 112
public static function SendDataByCurl($url,$data=array()){ //对空格进行转义 $url = str_replace(' ','+',$url); $ch = curl_init(); //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, "$url"); curl_set...
php CURL介绍及应用
YeeFan 的专栏
08-25 1085
这几天在帮一些同学处理问题的时候，突然发现这些同学是使用file_get_contents()函数来采集页面内容的，貌似都没有curl的概念亦或是对这种工具特别不敏感， 本文我来给大家详细介绍下cURL的简单的使用方法，下文我将会给大家详细介绍cURL的高级应用， 好，废话不多说，我们先来认识下什么是cURL，可能还有很多同学没有听说过这个工具，我先来给大家简单介绍下什么是cURL：
curl爬虫
echo
03-14 975
什么是curl： 你可能在你编写PHP脚本代码中会遇到这样的问题：怎么样才能从其他站点获取内容呢？这里有几个解决方式 最简单的就是在PHP中使用fopen()函数 但是fopen函数没有足够的参数来使用 比如当你想构建一个”网络爬虫“ 想定义爬虫在客户端描述（IE，Firefox）,通过不同的请求方式来获取内容 比如POST，GET等等 这些需求是不可能用fopen函数实现的 为了解决我们上面
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值