PHP实现最简单爬虫原型

最新推荐文章于 2024-06-25 14:23:25 发布

bookmoth

最新推荐文章于 2024-06-25 14:23:25 发布

阅读量9.8k

点赞数

分类专栏： PHP 文章标签： php url string list fp scheme

本文链接：https://blog.csdn.net/bookmoth/article/details/3916538

版权

本文介绍了一个用PHP编写的最简单网页爬虫模型，该模型从给定的初始URL开始，抓取页面内容，筛选出其中的链接，并修正相对路径。爬虫还需要进一步改进，包括准确拼接URL、去除重复链接、防止循环爬取和实现多线程等。

摘要由CSDN通过智能技术生成

最简单的爬虫模型应该是这样的：给一个初始url，爬虫把内容扒下拉，找页面里的url，在以这些url为起点，开始爬。

下面是一个最简单的php实现的爬虫模型。

<?php /** * 爬虫程序 -- 原型 * * BookMoth 2009-02-21 */ /** * 从给定的url获取html内容 * * @param string $url * @return string */ function _getUrlContent($url){ $handle = fopen($url, "r"); if($handle){ $content = stream_get_contents($handle,1024*1024); return $content; }else{ return false; } } /** * 从html内容中筛选链接 * * @param string $web_content * @return array */ function _filterUrl($web_content){ $reg_tag_a = '/<[a|A].*?href=[/'/"]{0,1}([^>/'/"/ ]*).*?>/'; $result = preg_match_all($reg_tag_a,$web_content,$match_result); if($result){ return $match_result[1]; } } /** * 修正相对路径 * * @param string $base_url * @param array $url_list * @return array */ function _reviseUrl($bas