python htmllib.HTMLParser处理A标签获取链接和描述

HTMLParser类中有针对HTML标签的相应的函数,通过自定义,重载类中的函数来处理一些标签,函数如下:

HTMLParser.anchor_bgn(href, name, type):#a标签开始的时候被调用,参数是A标签的属性值

HTMLParser.anchor_end() #锚点标签结束的时候处理

HTMLParser.save_bgn():#开始在缓冲区中保存字符数据,通过save_end()检索存储的数据。save_bgn()/ save_end()对可能不能嵌套使用。

HTMLParser.save_end():#结束缓冲字符数据,并返回自前调用save_bgn()保存所有数据。一个没有前面的调用save_bgn()调用此方法将引发TypeError异常。

HTMLParser.handle_image(source, alt[, ismap[, align[, width[, height]]]]):调用此方法来处理图像。默认实现只是简单地传递到handle_data()方法的alt值。

HTMLParser.reset()  #重置实例.所有未处理的数据都会丢失.在初始化时自动调用. 

HTMLParser.feed(data) #给分析器喂食.在由完整元素构成的情况下工作;不完整数据情况下,会进行缓冲知道更多数据加进来或者 close() 被调用. 


HTMLParser.close()  #处理所有缓冲数据.这个方法可以被派生类重定义,以便在输入结束后处理额外的事情,重定义的版本也要调用 HTMLParser 基类的 close() 方法. 

HTMLParser.getpos() #返回当前行数和列数 

HTMLParser.get_starttag_text() #返回最近打开过得开始标记处的文本.通常不会用到

HTMLParser.handle_starttag(tag, attrs) #该方法用来处理一个标记的开始.tag参数是tag的名字的小写化.attrs参数是一个list,由(name,value)组成,反映了<>里面的属性. name会被翻译成小写字母,在value中的引号也被移除了,字符实体引用也会被替换.例如,有个 tag<A HREF=”http://www.cwi.nl/”> ,那么使用该方法就该这么做: handle_starttag('a', [('href','http://www.cwi.nl/')]) 

HTMLParser.handle_startendtag(tag, attrs) #和handle_starttag()类似,用来处理XHTML风格的空标签(<a .../>).可能被子类重载

HTMLParser.handle_endtag(tag) #该方法用来处理元素结束标记.可以被派生类重载;基类什么也不做. tag参数是tag的name转化来的小写字母. 

HTMLParser.handle_data(data) #该方法用来处理随机的数据.

HTMLParser.handle_charref(name) #处理 &#ref 格式的字符引用.

HTMLParser.handle_entityref(name)  #处理一般的 &name 格式的实体引用. name 是一个一般的实体引用.

HTMLParser.handle_comment(data) #处理遇到注释的情况.注释参数为在——和——之间的字符串文本,而不是分隔符自身.例如 <!--text--> ,该方法将调用'text'.

HTMLParser.handle_decl(decl) #当分析器遇到SGML声明时调用此方法. decl 参数是 <!...> 标记里的整个内容.

HTMLParser.handle_pi(data) #处理命令, data 参数包含整个的处理命令.例如 <?proc color=’red'> ,该方法应写成 handle_pi("proc color='red'")

下面是处理A标签的例子:

#!/usr/bin/python
#encoding='utf-8'
import htmllib,urllib,formatter,string
'''
import chardet,sys
type = sys.getdefaultencoding()
'''
class GetLinks(htmllib.HTMLParser): #从HTMLParser类中继承
    def __init__(self): #初始化的时候调用,将links设置为空。这里的links为字典结构
        self.links = {} #存放地址->链接的字典
        f = formatter.NullFormatter()#将传输过来的数据不做处理,格式化为数据流
        htmllib.HTMLParser.__init__(self, f)

    def anchor_bgn(self, href, name, type): #锚点标签开始的时候处理
        self.save_bgn()
        self.link = href

    def anchor_end(self): #锚点标签结束的时候处理
        text = string.strip(self.save_end()) #去掉A标签保留A标签的信息
        if self.link and text:
            self.links[text] = self.link#self.links.get(text, []) + [self.link]
            #print self.links
            #exit()
fp = urllib.urlopen("http://www.baidu.com") #打开指定的URL
data = fp.read()
fp.close()

linkdemo = GetLinks() #实例化一个LinkDemo对象
linkdemo.feed(data) #给HTMLParser喂食
linkdemo.close()

for href, link in linkdemo.links.items(): #打印相关的信息
    print href, "=>", link

输出:

hao123 => http://www.hao123.com

搜索设置 => /gaoji/preferences.html

使用百度前必读 => /duty/

加入百度推广 => http://e.baidu.com/?refer=888


还有个例子:

#!/usr/bin/python
#encoding=utf-8
import HTMLParser

class MyParser(HTMLParser.HTMLParser):
    def __init__(self):
        HTMLParser.HTMLParser.__init__(self)                
    def handle_starttag(self, tag, attrs):
        # 这里重新定义了处理开始标签的函数
        if tag == 'a':
            # 判断标签<a>的属性
            for name,value in attrs:
                if name == 'href':
                    print value
        
if __name__ == '__main__':
    a = '<html><head><title>test</title><body><a href="http: //www.163.com">链接到163</a><a href="http://www.focus.cn">焦点</a></body></html>' 
    my = MyParser()
    # 传入要分析的数据,是html的。
    my.feed(a)

点击打开链接
阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页