Python学习总结笔记（6）-- HTML解析之HTMLParser

最新推荐文章于 2021-05-30 21:12:04 发布

kikay

最新推荐文章于 2021-05-30 21:12:04 发布

阅读量552

点赞数 1

分类专栏： Python 文章标签： python html 爬虫

本文链接：https://blog.csdn.net/kikaylee/article/details/53287790

版权

Python 专栏收录该内容

20 篇文章 1 订阅

订阅专栏

网页爬虫避免不了要解析html页面，需要获取其中的超链接等信息。HTML本质上也是XML文档，但是其语法没有那么严格，所以不能用XML解析的方法来解析HTML（基于Dom方式解析XML可参见我的博客 Python学习总结笔记（1）–Dom XML操作）。

0x01 HTMLParser

Python官方提供了一个解析HTML的标准库HTMLParser，分析出HTML里面的标签、数据等。需要指出的是，HTMLParser采用的是事件驱动的方式，即当解析到一个特定的标签时，会触发相应的处理事件，用户通过重写相应事件的处理函数来实现HTML的解析。HTMLParser库中常见的几个处理函数如下：

handle_startendtag      处理开始标签和结束标签
handle_starttag         处理开始标签，比如<xx>
handle_endtag           处理结束标签，比如</xx>
handle_charref          处理特殊字符串，就是以&#开头的，一般是内码表示的字符
handle_entityref        处理一些特殊字符，以&开头的，比如 &nbsp;
handle_data             处理数据，就是<xx>data</xx>中间的那些数据
handle_comment      处理注释
handle_decl             处理<!开头的，比如<!DOCTYPE html ...
handle_pi               处理形如<?instruction>的东西

关于HTMLParser的详细介绍可以查看官方文档。

0x02 实例

下面是一个很简单的获取页面全部静态超链接的例子：

#/usr/bin/env python
#coding:utf-8

__author__ = 'kikay'

from HTMLParser import HTMLParser
import requests

#扩展的HTML解析类(提取全部的超链接)
class MyHtmlParserHelper(HTMLParser):
    def __init__(self):
        #super(MyHtmlParserHelper,self).__init__()
        HTMLParser.__init__(self)
        self.__items=[]
        self.__href=None
        self.__text=None
        self.__flag=False

    #处理开头
    def handle_decl(self, decl):
        pass

    #处理开始标签
    def handle_starttag(self, tag, attrs):
        if 'a'==tag and attrs:
            for key,value in attrs:
                if 'href'==key:
                    self.__href=value
                    self.__flag=True

    #处理结束标签
    def handle_endtag(self, tag):
        if 'a'==tag and self.__flag==True:
            info=('{txt}({hf})').format(txt=self.__text,hf=self.__href)
            self.__items.append(info)
            self.__flag=False

    #处理标签中间的数据
    def handle_data(self, data):
        if self.__flag==True:
            self.__text=data

    @property
    def items(self):
        return self.__items

if __name__=='__main__':
    url='http://www.baidu.com'
    response=requests.get(url=url,verify=False)
    #解析
    parser=MyHtmlParserHelper()
    parser.feed(response.content)
    items=parser.items
    for i in items:
        print i

运行结果：

新闻(http://news.baidu.com)
hao123(http://www.hao123.com)
地图(http://map.baidu.com)
视频(http://v.baidu.com)
贴吧(http://tieba.baidu.com)
登录(http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1)
更多产品(//www.baidu.com/more/)
关于百度(http://home.baidu.com)
About Baidu(http://ir.baidu.com)
使用百度前必读(http://www.baidu.com/duty/)
意见反馈(http://jianyi.baidu.com/)

0x03 后记

HTMLParser是一个很简单的HTML解析库，功能不算强大，并且还是个很老的库，比如其不支持新式类的继承方式（super写法，见上面的例子），解析静态的HTML页面使用BeautifulSoup等库显然更适合，但是作为一个比较经典的库，了解下还是有必要的。

kikay

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Python学习总结笔记（6）-- HTML解析之HTMLParser

网页爬虫避免不了要解析html页面，需要获取其中的超链接等信息。HTML本质上也是XML文档，但是其语法没有那么严格，所以不能用XML解析的方法来解析HTML。HTMLParser是一个很简单的解析HTML的库，功能不算强大，并且是个很老的库，不支持新式类的继承方式（super写法），解析静态的HTML页面使用BeautifulSoup等显然更适合，但是作为一个比较经典的库，了解下还是有必要的。
复制链接

扫一扫