使用LIBTIDY解析HTML文档的小例子一个

使用LIBTIDY解析HTML文档的小例子一个

libtidy是一个开源的用来诊断,分析,生成html文档的一个库
下面的例子是使用libtidy获取页面链接的例子
代码如下:

#ifndef PARSEPAGE_HPP
#define  PARFSPAGE_HPP
#include  < string >
#include  < vector >
#include  < tidy / buffio.h >
#include  < tidy / fileio.h >
#include  < tidy / tidy.h >
#include  < tidy / tidyenum.h >
#include  < tidy / platform.h >

// ! 解析html页面 
class  ParsePage
{
public :
    typedef std::vector < std:: string >  String;
public :
    ParsePage( int  rank  =   0 , const  std:: string &  cur  =   "" ):rank(rank),cur(cur)
    {
        doc  =  tidyCreate();
        root  =  tidyGetRoot(doc);
    }
     ~ ParsePage()
    {
        tidyRelease(doc);
    }
public :
     // ! 解析给定文件
     bool  LoadFile( const   char *  file)
    {    
         return   1   ==  tidyParseFile(doc,file);
    }
     // !解析给定内存
     bool  LoadBuffer( const   char *  buffer)
    {   
         return   1   ==  tidyParseString(doc,buffer);
    }
     // ! 内容解析
     void  Check()
    {   
        CheckHref(root);
    }
     // ! 获取链接
     int  GetLinkNumber() const { return  links.size();}
    std:: string  GetLinkByIndex( int  index){ return  links.at(index);} 
private :
     void  DoHref(TidyAttr attr);
     void  CheckHref(TidyNode node);
private :
    TidyDoc     doc;
    TidyNode    root;
    std:: string  cur;
     int          rank;
    String      links;
};

#endif
// ! ccsdu2004

实现:

#include  < boost / algorithm / string .hpp >
#include  " parsepage.hpp "

void  ParsePage::DoHref(TidyAttr attr)
{
    std:: string  href(tidyAttrValue(attr));
     // ! 邮箱地址
     if (boost::algorithm::starts_with(href, " mailto: " ))
    {
    }
     // ! 链接地址
     else
    {
         if (boost::algorithm::starts_with(href, " http: " ))
        {
            size_t itr  =  href.find_last_of( ' # ' );
             if (itr  !=  std:: string ::npos)
            {
                href  =  href.substr( 0 ,itr);
            }
        }
         else
        {   
             if (boost::algorithm::contains(href, " # " ))
                 return ;
        }
    
        links.push_back(href);
    }
}

void  ParsePage::CheckHref(TidyNode node)
{
    TidyNode child;
     for (child  =  tidyGetChild(node);child;child  =  tidyGetNext(child))
    {
        TidyAttr attr  =  tidyAttrGetHREF(child);
         if (attr)
        {
            DoHref(attr);
        }
        CheckHref(child);
    }
}

这个对象比较简单
调用Check之后所有的页面链接在links中