php爬取网页数据(simple_html_dom)

下载地址: GitHub - samacs/simple_html_dom: Just a Simple HTML DOM library fork. (http://simplehtmldom.sourceforge.net/)

解析器不仅仅只是帮助我们验证html文档;更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。当然,这样一款强大的html Dom解析器也不是尽善尽美;在使用的过程中需要十分小心内存消耗的情况。不过,不要担心;本文中,笔者在最后会为各位介绍如何避免消耗过多的内存。
开始使用
上传类文件以后,有三种方式调用这个类:
从url中加载html文档
从字符串中加载html文档
从文件中加载

<?php  
// 新建一个Dom实例  
$html = new simple_html_dom();  
  
// 从url中加载  
$html->load_file('http://www.jb51.net');  
  
// 从字符串中加载  
$html->load('<html><body>从字符串中加载html文档演示</body></html>');  
  
//从文件中加载  
$html->load_file('path/file/test.html');  
?>  

如果从字符串加载html文档,需要先从网络上下载。建议使用CURL来抓取html文档并加载DOM中。

PHP Simple HTML DOM Parser提供了3种方式来创建DOM对象 :

// Create a DOM object from a string   
$html = str_get_html('<html><body>Hello!</body></html>');   
// Create a DOM object from a URL   
$html = file_get_html('http://www.google.com/');   
// Create a DOM object from a HTML file   
$html = file_get_html('test.htm');  

查找html元素
可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象,下面给出几个示例:

<?php  
  
//查找html文档中的超链接元素  
$a = $html->find('a');  
  
//查找文档中第(N)个超链接,如果没有找到则返回空数组.  
$a = $html->find('a', 0);  
  
// 查找id为main的div元素  
$main = $html->find('div[id=main]',0);  
  
// 查找所有包含有id属性的div元素  
$divs = $html->find('div[id]');  
  
// 查找所有包含有id属性的元素  
$divs = $html->find('[id]');  
?> 

还可以使用类似jQuery的选择器来查找定位元素:

<?php  
// 查找id='#container'的元素  
$ret = $html->find('#container');  
  
// 找到所有class=foo的元素  
$ret = $html->find('.foo');  
  
// 查找多个html标签  
$ret = $html->find('a, img');  

// 还可以这样用  
$ret = $html->find('a[title], img[title]');  
?>  

解析器支持对子元素的查找

<?php  
  
// 查找 ul列表中所有的li项  
$ret = $html->find('ul li');  
  
//查找 ul 列表指定class=selected的li项  
$ret = $html->find('ul li.selected');  
  
?>  

如果你觉得这样用起来麻烦,使用内置函数可以轻松定位元素的父元素、子元素与相邻元素

<?php  
// 返回父元素  
$e->parent;  
  
// 返回子元素数组  
$e->children;  
  
// 通过索引号返回指定子元素  
$e->children(0);  
  
// 返回第一个资源速  
$e->first_child ();  
  
// 返回最后一个子元素  
$e->last _child ();  
  
// 返回上一个相邻元素  
$e->prev_sibling ();  
  
//返回下一个相邻元素  
$e->next_sibling ();  
?>  

元素属性操作
使用简单的正则表达式来操作属性选择器。
[attribute] – 选择包含某属性的html元素
[attribute=value] – 选择所有指定值属性的html元素
[attribute!=value]- 选择所有非指定值属性的html元素
[attribute^=value] -选择所有指定值开头属性的html元素
[attribute$=value] 选择所有指定值结尾属性的html元素
[attribute*=value] -选择所有包含指定值属性的html元素
在解析器中调用元素属性
在DOM中元素属性也是对象:

<?php  
// 本例中将$a的锚链接值赋给$link变量  
$link = $a->href;  

//或者
$link = $html->find('a',0)->href; 
?>  

每个对象都有4个基本对象属性:
tag – 返回html标签名
innertext – 返回innerHTML
outertext – 返回outerHTML
plaintext – 返回html标签中的文本
在解析器中编辑元素
编辑元素属性的用法和调用它们是类似的:

<?php  
//给$a的锚链接赋新值  
$a->href = 'http://www.jb51.net';  
  
// 删除锚链接  
$a->href = null;  
  
// 检测是否存在锚链接  
if(isset($a->href)) {  
//代码  
}  
?>  

解析器中没有专门的方法来添加、删除元素,不过可以变通一下使用:

<?php  
// 封装元素  
$e->outertext = '<div class="wrap">' . $e->outertext . '<div>';  
  
// 删除元素  
$e->outertext = '';  
  
// 添加元素  
$e->outertext = $e->outertext . '<div>foo<div>';  
  
// 插入元素  
$e->outertext = '<div>foo<div>' . $e->outertext;  
?>  

保存修改后的html DOM文档也非常简单:

<?php  
$doc = $html;  
// 输出  
echo $doc;  
?>  

如何避免解析器消耗过多内存
在本文的开篇中,笔者就提到了Simple HTML DOM解析器消耗内存过多的问题。如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。解决的方法也很简单,在解析器加载html文档并使用完成后,记得清理掉这个对象就可以了。当然,也不要把问题看得太严重了。如果只是加载了2、3个文档,清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候,用完一个就清理一下内存

<?php  
$html->clear();  
?>  

一个实例:

<?PHP  
    include "simple_html_dom.php" ;//加载simple_html_dom.php文件    
    $html = file_get_html('http://www.google.com/');//获取html                              
    $dom = new simple_html_dom(); //new simple_html_dom对象                              
    $dom->load($html)  //加载html                                              
    // Find all images                                            
    foreach($dom->find('img') as $element) {     
    //获取img标签数组                                        
        echo $element->src . '<br>'; //获取每个img标签中的src   
    }                                                         
    // Find all links                                                 
    foreach($dom->find('a') as $element){ //获取a标签的数组                                           
    echo $element->href . '<br>';//获取每个a标签中的href                                 
    }  
    $html = file_get_html('http://slashdot.org/'); //获取html                                  
    $dom = new simple_html_dom(); //new simple_html_dom对象                                  
    $dom->load($html); //加载html                                           
    // Find all article blocks                                            
    foreach($dom->find('div.article') as $article) {                                             
    $item['title'] = $article->find('div.title', 0)->plaintext; //plaintext 获取纯文本  
    $item['intro'] = $article->find('div.intro', 0)->plaintext;                                
    $item['details'] = $article->find('div.details', 0)->plaintext;                                  
    $articles[] = $item;  
    }  
print_r($articles);   
  
    // Create DOM from string      
$html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>');    
    $dom = new simple_html_dom();     //new simple_html_dom对象</p><p>      
    $dom->load($html);      //加载html    
    $dom->find('div', 1)->class = 'bar';    //class = 赋值 给第二个div的class赋值</p><p>     
    $dom->find('div[id=hello]', 0)->innertext = 'foo';   //innertext内部文本</p><p>      
    echo $dom;   

//Output:   
   <div id="hello">foo</div><div id="world" class="bar">World</div>  
   <p> DOM methods & properties     
    Name Description     
    void __construct ( [string $filename] ) 构造函数,将文件名参数将自动加载内容,无论是文本或文件/ url。     
    string plaintext 纯文本     
    void clear () 清理内存     
    void load ( string $content ) 加载内容     
    string save ( [string $filename] ) Dumps the internal DOM tree back into a string. If the $filename is set, result string   will save to file.     
    void load_file ( string $filename ) Load contents from a from a file or a URL.     
    void set_callback ( string $function_name ) 设置一个回调函数。     
    mixed find ( string $selector [, int $index] ) 找到元素的CSS选择器。返回第n个元素对象如果索引设置,否则返回一个数组对象。 </p>   

 4.find 方法详细介绍</p><p>  
    find ( string $selector [, int $index] )   
    // Find all anchors, returns a array of element objects a标签数组  
    $ret = $html->find('a');</p><p>  // Find (N)th anchor, returns element object or null if not found (zero based)第一个a标签  
    $ret = $html->find('a', 0);</p><p>   // Find lastest anchor, returns element object or null if not found (zero based)最后一个a标签  
    $ret = $html->find('a', -1); </p><p> // Find all <div> with the id attribute   
    $ret = $html->find('div[id]');</p><p>    // Find all <div> which attribute id=foo  
    $ret = $html->find('div[id=foo]'); </p><p>  
    // Find all element which id=foo  
    $ret = $html->find('#foo');</p><p>   // Find all element which class=foo  
    $ret = $html->find('.foo');</p><p>   // Find all element has attribute id  
    $ret = $html->find('*[id]'); </p><p> // Find all anchors and images a标签与img标签数组   
    $ret = $html->find('a, img');  </p><p>  // Find all anchors and images with the "title" attribute  
    $ret = $html->find('a[title], img[title]');</p><p>  
    // Find all <li> in <ul>   
    $es = $html->find('ul li'); ul标签下的li标签数组</p><p>  // Find Nested <div> tags  
    $es = $html->find('div div div');  div标签下div标签下div标签数组</p><p>   // Find all <td> in <table> which class=hello   
    $es = $html->find('table.hello td'); table标签下td标签数组</p><p>   // Find all td tags with attribite align=center in table tags   
    $es = $html->find(''table td[align=center]'); </p><p>   
    5.Element  的方法  
    $e = $html->find("div", 0);                              //$e 所拥有的方法如下表所示  
    Attribute Name Usage   
    $e->tag 标签   
    $e->outertext 外文本   
    $e->innertext 内文本   
    $e->plaintext 纯文本 </p><p> </p><p>   // Example  
    $html = str_get_html("<div>foo <b>bar</b></div>");   
    echo $e->tag; // Returns: " div"  
    echo $e->outertext; // Returns: " <div>foo <b>bar</b></div>"  
    echo $e->innertext; // Returns: " foo <b>bar</b>"  
    echo $e->plaintext; // Returns: " foo bar"</p><p>  
    6.DOM traversing 方法  
    Method Description   
    mixed$e->children ( [int $index] ) 子元素   
    element$e->parent () 父元素   
    element$e->first_child () 第一个子元素   
    element$e->last_child () 最后一个子元素   
    element$e->next_sibling () 后一个兄弟元素   
    element$e->prev_sibling () 前一个兄弟元素 </p><p>  
    // Example  
    echo $html->find("#div1", 0)->children(1)->children(1)->children(2)->id;  
    // or   
    echo $html->getElementById("div1")->childNodes(1)->childNodes(1)->childNodes(2)->getAttribute('id');  

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用PHP编写爬虫来爬取整个网页的数据,你可以按照以下步骤进行操作: 1. 使用PHP的cURL库或者file_get_contents()函数发送HTTP请求,获取目标网页的HTML内容。你需要提供目标网页的URL作为请求的参数。 示例使用cURL库发送GET请求的代码: ```php $url = "https://example.com"; // 目标网页的URL $curl = curl_init($url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); $response = curl_exec($curl); curl_close($curl); // 检查请求是否成功 if ($response === false) { // 请求失败的处理逻辑 } else { // 请求成功,$response 变量中存储了目标网页的HTML内容 } ``` 2. 解析HTML内容。你可以使用PHP的内置函数或者第三方库(例如SimpleHTMLDom)来解析HTML,并提取你感兴趣的数据。这可能涉及到使用DOM操作来遍历HTML元素、查找特定的标签或属性。 示例使用SimpleHTMLDom库解析HTML内容的代码: ```php // 假设已经获取到了目标网页的HTML内容存储在$response变量中 // 使用SimpleHTMLDom库加载HTML内容 require('simple_html_dom.php'); $html = str_get_html($response); // 通过CSS选择器查找并提取需要的数据 $elements = $html->find('.class-name'); // 使用CSS类名选择器查找元素 foreach ($elements as $element) { // 处理提取到的元素数据 echo $element->plaintext; // 输出元素文本内容 } ``` 3. 递归爬取(可选)。如果你需要爬取整个网站,而不仅仅是单个页面,可以通过解析页面中的链接,并对链接进行递归处理来实现。可以使用正则表达式或者解析HTML的方式来提取链接。 这是一个基本的示例,演示了如何使用PHP爬取网页数据。根据具体的需求和网页结构,你可能需要进行更多的定制和处理。请注意,在编写爬虫时要遵守网站的爬虫规则和法律法规,以确保合法和合规的爬取行为。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值