PHP网络爬虫之CURL学习，2024年最新Python常见面试题知乎

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

<?php /\*\* \* 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出 \*/ $curlobj = curl\_init(); // 初始化 curl\_setopt($curlobj, CURLOPT\_URL, "http://www.baidu.com"); // 设置访问网页的URL curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来 $output=curl\_exec($curlobj); // 执行 curl\_close($curlobj); // 关闭cURL echo str\_replace("百度","屌丝",$output); ?>

2. 通过调用WebService查询北京的当前天气

<?php /\*\* \* 实例描述：通过调用WebService查询北京的当前天气 \*/ $data = 'theCityName=北京'; $curlobj = curl\_init(); curl\_setopt($curlobj, CURLOPT\_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName"); curl\_setopt($curlobj, CURLOPT\_HEADER, 0); curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, 1); curl\_setopt($curlobj, CURLOPT\_POST, 1); curl\_setopt($curlobj, CURLOPT\_POSTFIELDS, $data); curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", "Content-length: ".strlen($data) )); $rtn = curl\_exec($curlobj); if(!curl\_errno($curlobj)){ // $info = curl\_getinfo($curlobj); // print\_r($info); echo $rtn; } else { echo 'Curl error: ' . curl\_error($curlobj); } curl\_close($curlobj); ?>

3. 模拟需要登录的网址并抓取网页的内容

<?php /\*\* \* 实例描述：模拟需要登录的网址并抓取网页的内容 \*/ $data=array('username' => 'promonkey', 'password' => '1q2w3e', 'remember'=>1); $data='username=zjzhoufy@126.com&password=1q2w3e&remember=1'; $curlobj = curl\_init(); // 初始化 curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URL curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来 // Cookie相关设置，这部分设置需要在所有会话开始之前设置 date\_default\_timezone\_set('PRC'); // 使用Cookie时，必须先设置时区 curl\_setopt($curlobj, CURLOPT\_COOKIESESSION, TRUE); curl\_setopt($curlobj, CURLOPT\_HEADER, 0); curl\_setopt($curlobj, CURLOPT\_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转 curl\_setopt($curlobj, CURLOPT\_POST, 1); curl\_setopt($curlobj, CURLOPT\_POSTFIELDS, $data); curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", "Content-length: ".strlen($data) )); curl\_exec($curlobj); // 执行 curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/space/index"); curl\_setopt($curlobj, CURLOPT\_POST, 0); curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("Content-type: text/xml" )); $output=curl\_exec($curlobj); // 执行 curl\_close($curlobj); // 关闭cURL echo $output; ?>

4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取

<?php /\*\* \* 实例描述：登录网站的信息抓取并下载个人空间页面 \* 自定义实现页面链接跳转抓取 \* \*/ $data='username=demo\_peter@126.com&password=123qwe&remember=1'; $curlobj = curl\_init(); // 初始化 curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URL curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来 // Cookie相关设置，这部分设置需要在所有会话开始之前设置 date\_default\_timezone\_set('PRC'); // 使用Cookie时，必须先设置时区 curl\_setopt($curlobj, CURLOPT\_COOKIESESSION, TRUE); curl\_setopt($curlobj, CURLOPT\_HEADER, 0); // 注释掉这行，因为这个设置必须关闭安全模式 以及关闭open\_basedir，对服务器安全不利 //curl\_setopt($curlobj, CURLOPT\_FOLLOWLOCATION, 1); curl\_setopt($curlobj, CURLOPT\_POST, 1); curl\_setopt($curlobj, CURLOPT\_POSTFIELDS, $data); curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", "Content-length: ".strlen($data) )); curl\_exec($curlobj); // 执行 curl\_setopt($curlobj, CURLOPT\_URL, "http://www.imooc.com/space/index"); curl\_setopt($curlobj, CURLOPT\_POST, 0); curl\_setopt($curlobj, CURLOPT\_HTTPHEADER, array("Content-type: text/xml" )); $output=curl\_redir\_exec($curlobj); // 执行 curl\_close($curlobj); // 关闭cURL echo $output; /\*\* \* 自定义实现页面链接跳转抓取 \*/ function curl\_redir\_exec($ch,$debug="") { static $curl\_loops = 0; static $curl\_max\_loops = 20; if ($curl\_loops++ >= $curl\_max\_loops) { $curl\_loops = 0; return FALSE; } curl\_setopt($ch, CURLOPT\_HEADER, true); // 开启header才能够抓取到重定向到的新URL curl\_setopt($ch, CURLOPT\_RETURNTRANSFER, true); $data = curl\_exec($ch); // 分割返回的内容 $h\_len = curl\_getinfo($ch, CURLINFO\_HEADER\_SIZE); $header = substr($data,0,$h\_len); $data = substr($data,$h\_len - 1); $http\_code = curl\_getinfo($ch, CURLINFO\_HTTP\_CODE); if ($http\_code == 301 || $http\_code == 302) { $matches = array(); preg\_match('/Location:(.\*?)\n/', $header, $matches); $url = @parse\_url(trim(array\_pop($matches))); // print\_r($url); if (!$url) { //couldn't process the url to redirect to $curl\_loops = 0; return $data; } $last\_url = parse\_url(curl\_getinfo($ch, CURLINFO\_EFFECTIVE\_URL)); if (!isset($url['scheme'])) $url['scheme'] = $last\_url['scheme']; if (!isset($url['host'])) $url['host'] = $last\_url['host']; if (!isset($url['path'])) $url['path'] = $last\_url['path']; $new\_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:''); curl\_setopt($ch, CURLOPT\_URL, $new\_url); return curl\_redir\_exec($ch); } else { $curl\_loops=0; return $data; } } ?>

从FTP服务器下载一个文件到本地

<?php /\*\* \* 实例描述：把本地文件上传到FTP服务器上 \*/ $curlobj = curl\_init(); $localfile = 'ftp01.php'; $fp = fopen($localfile, 'r'); curl\_setopt($curlobj, CURLOPT\_URL, "ftp://192.168.1.100/ftp01\_uploaded.php"); curl\_setopt($curlobj, CURLOPT\_HEADER, 0); curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, 1); curl\_setopt($curlobj, CURLOPT\_TIMEOUT, 300); // times out after 300s curl\_setopt($curlobj, CURLOPT\_USERPWD, "peter.zhou:123456");//FTP用户名：密码 //上传和下载主要是下面子三个参数不一样 curl\_setopt($curlobj, CURLOPT\_UPLOAD, 1); curl\_setopt($curlobj, CURLOPT\_INFILE, $fp); curl\_setopt($curlobj, CURLOPT\_INFILESIZE, filesize($localfile)); $rtn = curl\_exec($curlobj); fclose($fp); if(!curl\_errno($curlobj)){ echo "Uploaded successfully."; } else { echo 'Curl error: ' . curl\_error($curlobj); } curl\_close($curlobj); ?>

6.下载网络上面的一个HTTPS的资源

<?php /\*\* \* 实例描述：下载网络上面的一个HTTPS的资源 \*/ $curlobj = curl\_init(); // 初始化 curl\_setopt($curlobj, CURLOPT\_URL, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js"); // 设置访问网页的URL curl\_setopt($curlobj, CURLOPT\_RETURNTRANSFER, true); // 执行之后不直接打印出来 // 设置HTTPS支持 date\_default\_timezone\_set('PRC'); // 使用Cookie时，必须先设置时区 curl\_setopt($curlobj, CURLOPT\_SSL\_VERIFYPEER, 0); // 对认证证书来源的检查从证书中检查SSL加密算法是否存在 curl\_setopt($curlobj, CURLOPT\_SSL\_VERIFYHOST, 2); // $output=curl\_exec($curlobj); // 执行 curl\_close($curlobj); // 关闭cURL echo $output; ?>

原生PHP模拟http请求

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-ckGtwe5K-1713712278393)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！