HTMLParser 学习笔记

safenli

于 2015-10-21 16:18:19 发布

阅读量865

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/safenli/article/details/49306089

版权

Python 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。 HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以handler_开头的函数即可。
参考官网文档：https://docs.python.org/2/library/htmlparser.html#HTMLParser.HTMLParser

!/usr/bin/env python
-- coding: utf-8 -
from HTMLParser import HTMLParser

HTMLParser的成员函数:

handle_startendtag  处理开始标签和结束标签
handle_starttag     处理开始标签，比如<xx>
handle_endtag       处理结束标签，比如</xx>
handle_charref      处理特殊字符串，就是以&#开头的，一般是内码表示的字符
handle_entityref    处理一些特殊字符，以&开头的，比如  
handle_data         处理数据，就是<xx>data</xx>中间的那些数据
handle_comment      处理注释
handle_decl         处理<!开头的，比如<!DOCTYPE html PUBLIC “-//W3C//DTD HTML 4.01 Transitional//EN”
handle_pi           处理形如<?instruction>的东西
注：如果定义了start_tagname函数，有定义了handle_starttag函数，则函数只会运行handle_starttag函数，start_tagname为空函数都没有问题；
   如果没有定义handle_starttag函数，则遇到<tagname>标签时，会运行start_tagname函数。
   如果没有定义tagname的start函数，则此标签为未知标签，调用unknown_starttag函数.

class MyHTMLParser(HTMLParser):

def __init__(self):
    HTMLParser.__init__(self)

#处理<!开头,decl是声明的内容，即<!>中间部分
def handle_decl(self,decl):
    print decl

#读取开始标签值返回给tag
#tag是的html标签，attrs是(属性,值)元组(tuple)的列表(list). 
#HTMLParser自动将tag和attrs都转为小写。
#attrs其实就是标签里面的参数值，把这些参数限定条件变成元组如：
#<head abcd>那么attrs就是[('abcd':'None')];
#<title ab cd>那么attrs就是[('ab':None,'cd':None)];
#<a href='www.baidu.com'>那么attrs就是[('href','www.baidu.com')]
def handle_starttag(self, tag, attrs):
    #print ('<%s>' % tag),attrs

#读取结束标签值返回给tag,处理结束标签，比如</a>就是一个结束标签，当遇到结束标签的时候调用该方法
def handle_endtag(self, tag):
    print ('</%s>' % tag)

def handle_startendtag(self, tag, attrs):
    print ('<%s/>' % tag)

#处理数据，就是<xx>data</xx>中间的那些数据,数据内容赋data。处理数据，比如<a>这是数据</a>，“这是数据”就是data，当遇到data的时候调用该方法。
def handle_data(self, data):
    print ('data:%s' %data)

#处理注释,data是注释的内容
def handle_comment(self, data):
    print ('<!--%s-->' %data)

#处理一些特殊字符，以&开头的，比如 &nbsp
def handle_entityref(self, name):
    print name

#处理特殊字符串，就是以&#开头的，一般是内码表示的字符.特殊字符有两种，一种是英文表示的&nbsp;，一种是数字表示的&#1234;处理十进制或十六进制“&#x3E;”这样的字符串，可以将其转换为&gt
def handle_charref(self, name):
    print('&#%s;' % name)

if name == “main“:
fd=open(‘hn.html’)
parser = MyHTMLParser()
#feed方法是将要处理的html字符串传递给HTMLParser，处理的过程是从前到后逐个处理html文件的标签，当遇到一个标签的时候，就调用handle_starttag方法
parser.feed(fd.read())