html.parser python_分享一个解析html的python的框架--AdvancedHTMLParser

最近在研究python爬虫,这方面的库也不少,但大多都用不顺手.

今天在github上搜索时发现了这个框架,其用法很简单,和javascript操作DOM几乎一样,刚使用了下,感觉很好用,框架也不大,不算文档70多k,安装也很方便.所以就分享给大家.

地址:https://github.com/kata198/AdvancedHTMLParser

下载后,运行 python setup.py install

使用列子

#coding=utf-8

import AdvancedHTMLParser

ht = '''

网页标题

Segmentfault

我的主页

div#testid

测试段落一

测试段落二

测试段落三

测试段落四

'''

parser = AdvancedHTMLParser.AdvancedHTMLParser()

parser.parseStr(ht.decode('gbk').encode('utf-8'))

#我在windows下写的,所以这里转换了编码

#网页编码

print parser.encoding

#根据标签名获取元素

items = parser.getElementsByTagName("p")

for item in items:

print item.innerHTML

#根据类名获取

items = parser.getElementsByClassName("link")

#获取a连接的文本和链接

print items[0].getElementsByClassName("sf")[0].innerHTML

print items[0].getElementsByClassName("sf")[0].getAttribute("href")

#根据id获取

print parser.getElementById("testid").innerHTML

输出如下:

utf-8

测试段落一

测试段落二

测试段落三

测试段落四

Segmentfault

http://segmentfault.com/

div#testid

是不是很方便呢.

本文同步发表在CSDN,转载请注明作者!