php 滑块 爬虫_PHP实现网页爬虫

抓取某一个网页中的内容，需要对DOM树进行解析，找到指定节点后，再抓取我们需要的内容，过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式，如果熟悉JQuery选择器，这几种框架会相当简单。

一、Ganon

测试:抓取我的网站首页所有class属性值是focus的div元素，并且输出class值

include 'ganon.php';

$html = file_get_dom('http://www.ido321.com/');

foreach($html('div[class="focus"]') as $element) {

echo $element->class, "
\n";

}

?>

结果:

二、phpQuery

测试：抓取我网站首页的article标签元素，然后出书其下h2标签的html值

include 'phpQuery/phpQuery.php';

phpQuery::newDocumentFile('http://www.ido321.com/');

$artlist = pq("article");

foreach($artlist as $title){

echo pq($title)->find('h2')->html()."
";

}

?>

结果：

三、Simple-Html-Dom

测试：抓取我网站首页的所有链接

include 'simple_html_dom.php';

//使用url和file都可以创建DOM

$html = file_get_html('http://www.ido321.com/');

//找到所有图片

// foreach($html->find('img') as $element)

// echo $element->src . '
';

//找到所有链接

foreach($html->find('a') as $element)

echo $element->href . '
';

?>

结果：(截图是一部分)

四、Snoopy

测试：抓取我的网站首页

include("Snoopy.class.php");

$url = "http://www.ido321.com";

$snoopy = new Snoopy;

$snoopy->fetch($url); //获取所有内容

echo $snoopy->results; //显示结果

// echo $snoopy->fetchtext ;//获取文本内容(去掉html代码)

// echo $snoopy->fetchlinks($url) ;//获取链接

// $snoopy->fetchform ;//获取表单

?>

结果：

五、手动编写爬虫

如果编写能力ok，可以手写一个网页爬虫，实现网页抓取。网上有千篇一律的介绍此方法的文章，LZ就不赘述了。有兴趣了解的，可以百度  php 网页抓取。

ps：资源分享

注：原文博客地址 http://www.ido321.com/1158.html