php解析html类

最新推荐文章于 2024-07-01 11:31:42 发布
最新推荐文章于 2024-07-01 11:31:42 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： PHP 文章标签： php php采集 html解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ruanjiayou/article/details/50404918
版权
本想做采集系统，但没有趁手的php版解析器。网上搜到一个simple_html_dom-master，全是英文。看了源码可以操作dom。但我很想自己写一个，不需太强大，可做采集即可。

    采取的思路是状态标记解析，如python中的htmlparser。将html分块：startTag endTag 文本块 注释块...我则加了个单标签块

我的类是个抽象类，用法就是自己继承父类并自己填充抽象方法，提供了参数：显示嵌套深度的level变量没有提供

源码，为了节省内存将块字符串换成了块在html源码中的index，length形式的数组

保存块的数组  压入(块类型，标签名，嵌套深度，字符串（index，length）)

array_push($this->BlockArr,array(HTML_TEXT,"",0,substr($this->htmlcode,$posL,$i-$posL+1)));

原先的形式：

$tempstr = substr($this->htmlcode,$posL,$posR-$posL+1);

array_push($this->BlockArr,array(HTML_TAG_ST,$tagname,0,$tempstr));

先给效果图，后面紧接源码


<?php
/*
    时间:2015-12-25 19:04:34
    作者:阮家友
    QQ:1439120442
*/
//定义常量 html文件分4种类型块  
//开始标签
define("HTML_TAG_ST",1);
//结束标签
define("HTML_TAG_END",2);
// <!开头 文档声明和注释
define("HTML_COMMENT",3);
//文本
define("HTML_TEXT",4);
//单标签
define("HTML_SINGLE_TAG",5);

//左方括号
define("CHAR_L_BRACKET","<");
//右方括号
define("CHAR_R_BRACKET",">");
//单引号
define("CHAR_S_QUOTE","'");
//双引号
define("CHAR_D_QUOTE",'"');
//与
define("CHAR_AND","&");
//感叹号
define("CHAR_GanTanHao",'!');
//斜杠 除法  Unix中表示目录
define("CHAR_XieGang",'/');
//反斜杠 转义 
define("CHAR_FanXieGang",'\\');
//tab键
define("CHAR_TAB",'\t');
//空格
define("CHAR_SPACE",' ');
//回车
define("CHAR_ENTENR",'\r');
//换行
define("CHAR_NewLine",'\n');
abstract class parser{
    //成员变量
    //路径
    private $path;
    //html源码
    private $htmlcode;
    //分块数组
    private $BlockArr;
    //分析层级栈 永远是开始标签
    private $Zhan;
    //层级变量
    private $level;
    //属性数组 在标记单标签时借用一下
    private $AttributesArr;
    //构造函数
    function __construct($path){
        $this->htmlcode = "";
        $this->path = $path;
        $this->BlockArr = array();
        $this->AttributesArr = array();
        $this->Zhan = array();
        $this->level=0;
        $datetime = new DateTime('Asia/Hong_Kong');
        print "解析开始！".$datetime->format('Y/m/d H:i:s')."<br/>";
    }
    //析构函数
    function __destruct(){
        $datetime = new DateTime('Asia/Hong_Kong');
        
        print "解析完成！".$datetime->format('Y/m/d H:i:s')."<br/>";
        echo "FileSize:".strlen($this->htmlcode)."<br/>";
        echo "block length:".count($this->BlockArr);
    }
    //获取HTML源码
    function LoadHTML(){
        $this->htmlcode = file_get_contents($this->path);
    }
    //将HTML源码分割为块
    function Split2Block(){
        $tempstr="";//保存截取的临时字符串
        $temp = array();//匹配結果
        $tagname = "";//标签名
        $CurrentPos = 0;//当前字符在字符串中的索引 下标 index
        $N = strlen($this->htmlcode);//字符串的长度
        $posL = 0;//块的左端位置
        $posR = 0;//块的右端位置
        $type = 0;//当前块的类型
        $bCommentOEndTag = false;
        $bSingleTag = false;
        $bTextStart = false;
        $bEndTag = false;
        // < 开始
        $bLSBracketStart = false;
        // > 开始
        $bRSBracketStart = false;
        // " 开始
        $bSQuoteStart = false;
        // ' 开始
        $bDQuoteStart = false;
        for($i=0;$i<$N;$i++){
            //只对<>"'!/感兴趣
            if(!preg_match('/[<>\'\"!\/]/',$this->htmlcode[$i],$temp)){
                continue;
            }
            // 检测到 ! / StartTag Comment EndTag判断 < 开始设置了默认类型是开始标签 后面第一个字符是 ! 则本块是注释 是/ 则是结束标签
            if(true == $bLSBracketStart &&true==$bCommentOEndTag&&(CHAR_GanTanHao== $this->htmlcode[$i]|| CHAR_XieGang == $this->htmlcode[$i])){
                // : ! 本块是注释
                if(CHAR_GanTanHao == $this->htmlcode[$i]){
                    $type = HTML_COMMENT;
                }
                // : / 并且不再字符串内 本块是结束标签
                if(CHAR_XieGang == $this->htmlcode[$i]&&false==$bSQuoteStart&&false==$bDQuoteStart){
                    $type = HTML_TAG_END;
                }
                //本次块的类型判断结束 还原状态 等待下次
                $bCommentOEndTag = false;
                continue;
            }
            //检测到 " '单引号或双引号 true == $bLSBracketStart && HTML_TAG_ST==$type &&(
            if($bLSBracketStart && HTML_COMMENT!=$type && (CHAR_S_QUOTE==$this->htmlcode[$i]|| CHAR_D_QUOTE==$this->htmlcode[$i])){
                //单引号
                if(CHAR_S_QUOTE==$this->htmlcode[$i]){
                    //单引号开始过则此单引号进行闭合操作
                    if(true == $bSQuoteStart){
                        $bSQuoteStart = false;
                    }
                    //双引号开始过则跳过
                    else{
                        if(true == $bDQuoteStart){
                            continue;
                        }
                        //单引号开头的字符串开启
                        else{
                            $bSQuoteStart = true;
                        }
                    }
                }
                //双引号
                else{
                    //双引号开始过则闭合
                    if(true == $bDQuoteStart){
                        $bDQuoteStart = false;
                    }
                    //单引号开始过则跳过
                    else{
                        if(true == $bSQuoteStart){
                            continue;
                        }
                        //双引号开头的字符串开启
                        else{
                            $bDQuoteStart = true;
                        }
                    }
                }
            }//引号处理结束
            //检测到 <字符
            if(CHAR_L_BRACKET==$this->htmlcode[$i]){
                //如果在注释或字符串中则跳过
                if(HTML_COMMENT == $type||$bSQuoteStart||$bDQuoteStart){
                    continue;
                }
                //当前块类型为文本或>开始后遇到<
                //将当前块设为文本并push 重新开启 <
                if($bTextStart||$bLSBracketStart){
                    $bTextStart = false;
                    $temp = trim(substr($this->htmlcode,$posL,$i-$posL));
                    if(""!=$temp){
                        array_push($this->BlockArr,array(HTML_TEXT,"",0,array($posL,$i-$posL)));
                    }
                }
                $posL=$i;
                $type = HTML_TAG_ST;
                $bLSBracketStart = true;
                $bCommentOEndTag = true;
                continue;
            }// < 结束
            //检测到 >字符
            if(CHAR_R_BRACKET==$this->htmlcode[$i]){
                //在字符串内则跳过 或<没开始
                if($bSQuoteStart||$bDQuoteStart||false==$bLSBracketStart){
                    continue;
                }
                $posR = $i;
                $bRSBracketStart = true;
                //开始块 结束块 注释块在此处理
                //文本块不在此处理
                //截取出当前块的内容
                $tempstr = substr($this->htmlcode,$posL,$posR-$posL+1);
                switch($type){
                    case HTML_TAG_ST:
                        //提取标签名
                        $tagname = preg_match("/<\s*(\w+)/i",$tempstr,$temp) ? strtolower($temp[1]):"STerror";
                        if("STerror" == $tagname){
                            array_push($this->BlockArr,array(HTML_TEXT,"",0,array($posL,$posR-$posL+1)));
                            break;
                        }
                        //分析是否是单标签
                        $bSingleTag = preg_match('/\/\s*>$/',$tempstr,$temp)?true:false;
                        if($bSingleTag){
                            //将块压到目标数组中 是单标签
                            array_push($this->BlockArr,array(HTML_SINGLE_TAG,$tagname,0,array($posL,$posR-$posL+1)));
                        }
                        else{
                            //将块压到目标数组中 是开始标签或没正确闭合的标签
                            array_push($this->BlockArr,array(HTML_TAG_ST,$tagname,0,array($posL,$posR-$posL+1)));
                        }
                        
                    break;
                    case HTML_TAG_END:
                        //提取标签名
                        $tagname = preg_match("/<\s*\/\s*(\w+)/i",$tempstr,$temp) ? strtolower($temp[1]):"ENDerror";
                        if("ENDerror"==$tagname){
                            array_push($this->BlockArr,array(HTML_TEXT,"",0,array($posL,$posR-$posL+1)));
                        }
                        else{
                            array_push($this->BlockArr,array(HTML_TAG_END,$tagname,0,array($posL,$posR-$posL+1)));
                        }
                    break;
                    case HTML_COMMENT:
                        //直接将当前块的内容压到目标数组中
                        array_push($this->BlockArr,array(HTML_COMMENT,"",0,array($posL,$posR-$posL+1)));
                    break;
                    default:break;
                }
                //闭合 <
                $bLSBracketStart = false;
                $bTextStart = true;
                $type = 0;
                //为文本做准备
                $posL = $i+1;
            }
        }
    }
    function MarkSingleTag(){
        $bMatched = false;
        for($i=0;$i<count($this->BlockArr)-1;$i++){
            if(HTML_COMMENT == $this->BlockArr[$i][0]||HTML_TEXT == $this->BlockArr[$i][0]||HTML_SINGLE_TAG == $this->BlockArr[$i][0]){
                continue;
            }
            //开始标签
            if(HTML_TAG_ST == $this->BlockArr[$i][0]){
                array_push($this->Zhan,$i);
            }
            //结束标签
            else{
                for($j = count($this->Zhan)-1;$j>=0;$j--){
                    if($this->BlockArr[$this->Zhan[$j]][1]==$this->BlockArr[$i][1]){
                        $bMatched = true;
                        for($k = count($this->Zhan)-1;$k>=0;$k--){
                            if($this->BlockArr[$this->Zhan[$k]][1]!=$this->BlockArr[$i][1]){
                                //没关闭的标签
                                $this->BlockArr[$this->Zhan[$k]][0]=HTML_SINGLE_TAG;
                                array_pop($this->Zhan);
                            }
                            else{
                                array_pop($this->Zhan);
                                break;
                            }
                        }
                    }
                }
                if(false==$bMatched){
                    $this->BlockArr[$i][0]=HTML_SINGLE_TAG;
                }
                $bMatched = false;
            }
        }
    }
    //获取开始标签或单标签的属性数组
    //预处理 私有不可访问
    private function GetAttributes($str){
        $AttrArr = array();
        //属性字符串提取
        $AttrStr = preg_match("/<\s*?[a-zA-Z]+?\s+?([^>\/]*?)[>]/",$str,$temp)?$temp[1]:"";
        //化为kv数组
        preg_match_all('/\s*?([a-zA-Z]+[-]?[a-zA-Z0-9]+)\s*?[=][\s]*?[\'\"]?([^\s\'\"]+?)[\'\"\s]+?/',$AttrStr,$match);
        for($i=0;$i<count($match[0]);$i++){
            $AttrArr[$match[1][$i]] = $match[2][$i];
        }
        return $AttrArr;
    }
    public function BeginParser(){
        //加载html源码
        $this->LoadHTML();
        $datetime = new DateTime('Asia/Hong_Kong');
        print "Loaded HTML:".$datetime->format('Y/m/d H:i:s')."<br/>";
        //html分块
        $this->Split2Block();
        $datetime = new DateTime('Asia/Hong_Kong');
        print "Split2Block:".$datetime->format('Y/m/d H:i:s')."<br/>";
        //寻找单标签
        $this->MarkSingleTag();
        $datetime = new DateTime('Asia/Hong_Kong');
        print "Find SingleTag:".$datetime->format('Y/m/d H:i:s')."<br/>";
        //之前的代码 测试调用 重写父函数抽象方法 的结果
        //不过这个版本的每个BlockArr的块中 最后面的不是字符串而是array($index,$length)保存在字符串在原html中的下标和长度
        $level = 0;
        for($i=0;$i<count($this->BlockArr);$i++){
            switch($this->BlockArr[$i][0]){
                case HTML_TAG_ST:
                    $level++;
                    $this->BlockArr[$i][2]=$level;
                    $this->StartTag($this->BlockArr[$i][1],$this->GetAttributes(substr($this->htmlcode,$this->BlockArr[$i][3][0],$this->BlockArr[$i][3][1])));
                break;
                case HTML_TAG_END:
                    $level--;
                    $this->BlockArr[$i][2]=$level;
                    $this->EndTag($this->BlockArr[$i][1]);
                break;
                case HTML_SINGLE_TAG:
                    $this->BlockArr[$i][2]=$level;
                    $this->SingleTag($this->BlockArr[$i][1],$this->GetAttributes(substr($this->htmlcode,$this->BlockArr[$i][3][0],$this->BlockArr[$i][3][1])));
                break;
                case HTML_TEXT:
                    $this->BlockArr[$i][2]=$level;
                    $this->TextBlock(substr($this->htmlcode,$this->BlockArr[$i][3][0],$this->BlockArr[$i][3][1]));
                break;
                case HTML_COMMENT:
                
                break;
                default:break;
            }
        }
    }
    //遇到开始标签时调用
    abstract function StartTag($tagname,$attrArr);
    //遇到结束标签时调用
    abstract function EndTag($tagname);
    abstract function SingleTag($tagname,$attrArr);
    //遇到文本时调用
    abstract function TextBlock($txt);
}

//例子
class newparser extends parser{
    function StartTag($tagname,$attr){
        echo "starttag:".$tagname."<br/>";
    }
    function EndTag($tagname){
        echo "EndTag:".$tagname."<br/>";
    }
    function SingleTag($tagname,$attr){
        echo "SingleTag:".$tagname."<br/>";
    }
    function TextBlock($str){
        echo "TextBlock:---".$str."<br/>";
    }
}
$parser1 = new newparser("http://localhost/MyHTMLParser/test.html");
//$parser1 = new newparser("http://localhost/MyHTMLParser/maxLength.html");
$parser1->BeginParser();

?>



一次测试（数组说明(块类型，标签名，嵌套深度，块完整字符串)）：

对提取标签属性数组的测试

var_dump(FindAttributes('<meta name="Description"width=100 content="special effect">'));

要想用于采集，分出标签的层次是必须的，找出单标签也不难。开始时我用的递推方法，太傻不拉几了，性能达不到嵌套太深。后来对数组进行栈操作。碰到开始标签则入栈，碰到结束标签则进行归约，不能归约的当做单标签；成功则pop，将中间的开始标签全标记为单标签。

13w多个块，html文档0.55M大小，也只用2s，火狐和谷歌结果是一样的。用来测试的文件很大，Firefox浏览器hold不住，chrome渲染起来也很累


字体编辑用的中日韩Unicode字码表



阮家友
关注
专栏目录
PHP解析HTML代码库
02-17
PHP解析HTML代码库：包含解析资源库。和demo。
PHP模板解析类实例
10-23
PHP模板解析类实例主要涉及了在PHP中如何创建和使用模板解析类，用于将模板文件中的特殊标记进行解析并替换为相应的数据，从而实现动态网页内容的生成。这类技术在Web开发中非常常见，尤其在需要分离业务逻辑和页面...
php解析html
qq_43668159的博客
02-11 1787
php解析html
使用PHP解析和处理HTML/XML以创建Web爬虫的示例
最新发布
wx_19970108018的博客
07-01 1392
本文介绍了如何使用PHP的curl函数获取网页内容，以及如何使用Simple HTML DOM库解析HTML和SimpleXML库解析XML的示例代码。PHP作为一种流行的服务器端脚本语言，具有丰富的库和功能，可以方便地解析和处理HTML或XML格式的数据。在本文中，我们将介绍使用PHP创建Web爬虫的示例，并提供相关代码示例。这段代码中，我们指定了要爬取的网址，并使用curl函数设置一些选项，例如设置CURLOPT_RETURNTRANSFER为true来将获取的内容保存为一个字符串。
PHP解析HTML
qq_32109909的博客
10-09 1897
PHP解析HTML内容 文档链接： 将html页面转为simple html dom 文档参考：http://simplehtmldom.sourceforge.net/manual.htm
PHP Simple HTML DOM解析器使用入门
fisher的博客
08-02 3330
前段时间，有一个项目需要使用php对html解析，然后获取指定的内容（jquery的解析器可以实现这个功能），于是开始google，发现了simple html dom解析器，这个和jquery的解析语法很相似。 解析器不仅仅只是帮助我们验证html文档；更能解析不符合W3C标准的html文档。它使用了类似jquery的元素选择器，通过元素的id，class，tag等等来查找定位；同时还提供添加
php解析html类库simple_html_dom
weixin_33688840的博客
03-15 359
下载地址：https://github.com/samacs/simple_html_dom 使用手册：http://www.phpddt.com/manual/simplehtmldom_1_5/manual.htm 一直以来使用php解析html文档树都是一个难题。Simple HTML DOM parser 帮我们很好地解决了这个问题。可以通过这个php类来解析html文档，对其中的ht...
一个好用的php模版解析类
05-01
"一个好用的PHP模版解析类"是针对这个主题的具体实现，提供了一种高效、易于维护的方式来构建动态网站。 模板引擎的核心思想是通过定义特定的语法或标记来嵌入动态内容。在PHP中，这种模板解析类通常会识别如`{{...
php实现的一个很好用HTML解析器类可用于采集数据
12-18
在给定的信息中，我们关注的是一个PHP实现的HTML解析器类，用于数据采集。这个解析器类名为`XF_HtmlDom`，它利用了PHP的DOMDocument和DOMXPath库来处理和查询HTML文档。以下是相关知识点的详细说明： 1. **DOM...
php基于Snoopy解析网页html的方法
12-19
在PHP编程中，有时我们需要从网页中抓取和解析HTML数据，这通常涉及到网络爬虫技术。Snoopy是一个PHP的网络爬虫类库，它允许开发者模拟浏览器发送HTTP请求并接收HTML响应，从而实现网页内容的抓取。本文将详细讲解...
关于php页面解析html,php解析HTML
weixin_42584758的博客
03-19 1435
PHPSimpleHTMLDOM解析器显然是相当不多的html文件解析工具。他能够在server端採用相似于jquery的方式进行dom查找和改动。眼下这个解析器支持PHP5。可是，这个首先将html进行了标签解析，占用了大量的内存。在解析复杂一点的html文件时，甚至占用超过10M的内存，如今在高并发的情况下。这个是无法接受的。当你载入了5个10个甚至很多其它的文档的时候。用完一个就清理...
php解析html类库simple_html_dom(详细介绍)
10-27
一直以来使用php解析html文档树都是一个难题。Simple HTML DOM parser 帮我们很好地解决了这个问题。可以通过这个php类来解析html文档，对其中的html元素进行操作 (PHP5+以上版本)
php解析HTML
weixin_30478923的博客
04-14 2001
PHPSimpleHTMLDOM解析器显然是相当不多的html文件解析工具。他能够在server端採用相似于jquery的方式进行dom查找和改动。眼下这个解析器支持PHP5。 可是，这个首先将html进行了标签解析，占用了大量的内存。在解析复杂一点的html文件时，甚至占用超过1...
(转)用php解析html
jackyrongvip的专栏
11-08 239
最近想用php写一个爬虫，就需要解析html，在sourceforge上找到一个项目叫做PHP Simple HTML DOM Parser，它可以以类似jQuery的方式通过css选择器来返回指定的DOM元素，功能十分强大。 首先要在程序的开始引入simple_html_dom.php这个文件 include_once('simple_html_dom.php'); PHP S...
php如何解析html标签
彩色代码的博客
05-17 1907
你可以根据需要使用 DOM 扩展提供的丰富方法和属性进行更复杂的操作，例如查找特定的属性、修改样式、创建新的标签等。∫在 PHP 中解析 HTML 标签通常需要使用 DOM(Document Object Model) 扩展。DOM 扩展提供了一个面向对象的接口，用于解析和操作 HTML 文档。当使用 PHP 解析 HTML 标签时，DOM 扩展提供了许多功能和方法来处理和操作标签。方法加载了一个包含 HTML 内容的字符串。标签，并通过遍历输出了它们的文本内容。在上面的示例中，我们创建了一个。
用php解析html
精彩人生
03-21 590
最近想用php写一个爬虫，就需要解析html，在sourceforge上找到一个项目叫做PHP Simple HTML DOM Parser，它可以以类似jQuery的方式通过css选择器来返回指定的DOM元素，功能十分强大。 首先要在程序的开始引入simple_html_dom.php这个文件 ? include_once('simple_htm
php解析html类库simple_html_dom（2）
夏已微凉、
04-24 4861
php解析html类库simple_html_dom（2） 工具类官方文档：https://simplehtmldom.sourceforge.io/manual.htm 工具类下载地址：https://github.com/samacs/simple_html_dom python实现：pyt...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值