python htmllib.HTMLParser处理A标签获取链接和描述

最新推荐文章于 2022-07-03 22:04:32 发布

iteye_18451

最新推荐文章于 2022-07-03 22:04:32 发布

阅读量215

点赞数

文章标签： python xhtml

HTMLParser类中有针对HTML标签的相应的函数，通过自定义，重载类中的函数来处理一些标签，函数如下：

HTMLParser.anchor_bgn(href,name,type):#a标签开始的时候被调用，参数是A标签的属性值

HTMLParser.anchor_end()#锚点标签结束的时候处理

HTMLParser.save_bgn():#开始在缓冲区中保存字符数据,通过save_end（）检索存储的数据。save_bgn（）/save_end（）对可能不能嵌套使用。

HTMLParser.save_end():#结束缓冲字符数据，并返回自前调用save_bgn（）保存所有数据。一个没有前面的调用save_bgn（）调用此方法将引发TypeError异常。

HTMLParser.handle_image(source,alt[,ismap[,align[,width[,height]]]])：调用此方法来处理图像。默认实现只是简单地传递到handle_data（）方法的alt值。

HTMLParser.reset()#重置实例.所有未处理的数据都会丢失.在初始化时自动调用.

HTMLParser.feed(data)#给分析器喂食.在由完整元素构成的情况下工作；不完整数据情况下,会进行缓冲知道更多数据加进来或者 close() 被调用.

HTMLParser.close()#处理所有缓冲数据.这个方法可以被派生类重定义,以便在输入结束后处理额外的事情,重定义的版本也要调用 HTMLParser 基类的 close() 方法.

HTMLParser.getpos()#返回当前行数和列数

HTMLParser.get_starttag_text()#返回最近打开过得开始标记处的文本.通常不会用到

HTMLParser.handle_starttag(tag, attrs)#该方法用来处理一个标记的开始.tag参数是tag的名字的小写化.attrs参数是一个list,由(name,value)组成,反映了<>里面的属性. name会被翻译成小写字母,在value中的引号也被移除了,字符实体引用也会被替换.例如,有个 tag<A HREF=”http://www.cwi.nl/”> ,那么使用该方法就该这么做：handle_starttag('a', [('href','http://www.cwi.nl/')])

HTMLParser.handle_startendtag(tag, attrs)#和handle_starttag()类似,用来处理XHTML风格的空标签(<a.../>).可能被子类重载

HTMLParser.handle_endtag(tag)#该方法用来处理元素结束标记.可以被派生类重载；基类什么也不做. tag参数是tag的name转化来的小写字母.

HTMLParser.handle_data(data)#该方法用来处理随机的数据.

HTMLParser.handle_charref(name)#处理 &#ref 格式的字符引用.

HTMLParser.handle_entityref(name) #处理一般的 &name 格式的实体引用. name 是一个一般的实体引用.

HTMLParser.handle_comment(data)#处理遇到注释的情况.注释参数为在——和——之间的字符串文本,而不是分隔符自身.例如  ,该方法将调用'text'.

HTMLParser.handle_decl(decl)#当分析器遇到SGML声明时调用此方法. decl 参数是 <!...> 标记里的整个内容.

HTMLParser.handle_pi(data)#处理命令, data 参数包含整个的处理命令.例如 <?proc color=’red'> ,该方法应写成 handle_pi("proc color='red'")

下面是处理A标签的例子：

#!/usr/bin/python
#encoding='utf-8'
import htmllib,urllib,formatter,string
'''
import chardet,sys
type = sys.getdefaultencoding()
'''
class GetLinks(htmllib.HTMLParser): #从HTMLParser类中继承
    def __init__(self): #初始化的时候调用，将links设置为空。这里的links为字典结构
        self.links = {} #存放地址->链接的字典
        f = formatter.NullFormatter()#将传输过来的数据不做处理，格式化为数据流
        htmllib.HTMLParser.__init__(self, f)

    def anchor_bgn(self, href, name, type): #锚点标签开始的时候处理
        self.save_bgn()
        self.link = href

    def anchor_end(self): #锚点标签结束的时候处理
        text = string.strip(self.save_end()) #去掉A标签保留A标签的信息
        if self.link and text:
            self.links[text] = self.link#self.links.get(text, []) + [self.link]
            #print self.links
            #exit()
fp = urllib.urlopen("http://www.baidu.com") #打开指定的URL
data = fp.read()
fp.close()

linkdemo = GetLinks() #实例化一个LinkDemo对象
linkdemo.feed(data) #给HTMLParser喂食
linkdemo.close()

for href, link in linkdemo.links.items(): #打印相关的信息
    print href, "=>", link

输出：

hao123 => http://www.hao123.com

搜索设置 => /gaoji/preferences.html

使用百度前必读 => /duty/

加入百度推广 => http://e.baidu.com/?refer=888

还有个例子:

#!/usr/bin/python
#encoding=utf-8
import HTMLParser

class MyParser(HTMLParser.HTMLParser):
    def __init__(self):
        HTMLParser.HTMLParser.__init__(self)                
    def handle_starttag(self, tag, attrs):
        # 这里重新定义了处理开始标签的函数
        if tag == 'a':
            # 判断标签<a>的属性
            for name,value in attrs:
                if name == 'href':
                    print value
        
if __name__ == '__main__':
    a = '<html><head><title>test</title><body><a href="http: //www.163.com">链接到163</a><a href="http://www.focus.cn">焦点</a></body></html>' 
    my = MyParser()
    # 传入要分析的数据，是html的。
    my.feed(a)

点击打开链接