python 抓取数据之HTMLParser

    最后工作需要到处理html的数据的问题，然后使用HTMLParser，网上找了很多资料都是千篇一律的。

 

在这里记录下自己的成果，希望对你有用。

 

1。首先还是让我们来了解一下HTMLParser.

 

     python模块之HTMLParser: 解析html,获取url HTMLParser是python用来解析html的模块。

 

它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。 HTMLParser采用的是一种事件驱动的模式，

 

当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。

 

它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。

 

当我们使用时，就从HTMLParser派生出新的类，然 后重新定义这几个以handler_开头的函数即可。

 

 

这几个函数包括：
handle_startendtag 处理开始标签和结束标签
handle_starttag 处理开始标签，
handle_endtag 处理结束标签，
handle_charref 处理特殊字符串，就是以&#开头的，一般是内码表示的字符
handle_entityref 处理一些特殊字符，以&开头的，比如 handle_data 处理数据，就是data中间的那些数据 handle_comment 处理注释 ，
handle_decl 处理<!开头的，
比如的东西 这里我以从网页中获取到url为例，介绍一下。要想获取到url，肯定是要分析标签，然后取到它的href属性的值。

MyHTMLParser.py

''' Created on 2011-1-11 @author: wangtao0422@gmail.com ''' from HTMLParser import HTMLParser class MyHTMLParser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.flag = 0 self.links = [] self.title="" self.img="" self.content="" def handle_starttag(self, tag, attrs): #print "Encountered the beginning of a %s tag" % tag if tag == "a": if len(attrs) == 0: pass else: for (variable, value) in attrs: if variable == "href": self.links.append(value)  

 

前调用代码:start.py

''' Created on 2011-1-11 @author: wangtao0422@gmail.com ''' import re import urllib from MyHTMLParser import MyHTMLParser if __name__ == "__main__": data=urllib.urlopen(r'http://gy.58.com/duanzu/3934202413954x.shtml').read().decode('utf-8') hp = MyHTMLParser() hp.feed(data) hp.close() for link in hp.links: print link  

 

 

以一代码就是定义的一个我们一个自己的HTML处理类。这代码也是官方上的。其中测试链接，只做测试使用，不负法律责任

 

2.如果我们想要提取一段HTML里面的文本数据怎么办呢

首先我们应该要使用handle_data 处理数据。但它又是随机文本，所以我们要在handle_starttag 遇到这个标记的时候，做个标记，然后

在handle_data 中遇到此标记时，把数据传出来。

 

比如我们需要获取title的文本值，那么我们的代码如下

''' Created on 2011-1-11 @author: wangtao0422@gmail.com ''' from HTMLParser import HTMLParser class MyHTMLParser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.flag = 0 self.links = [] self.title="" def handle_starttag(self, tag, attrs): #print "Encountered the beginning of a %s tag" % tag if tag == "a": if len(attrs) == 0: pass else: for (variable, value) in attrs: if variable == "href": self.links.append(value) if tag =="title": self.flag=1 def handle_data(self,data): if self.flag == 1 and len(self.title)==0: self.title=data self.flag==0  

 

''' Created on 2011-1-11 @author: wangtao0422@gmail.com ''' import re import urllib from MyHTMLParser import MyHTMLParser if __name__ == "__main__": data=urllib.urlopen(r'http://gy.58.com/duanzu/3934202413954x.shtml').read().decode('utf-8') hp = MyHTMLParser() hp.feed(data) hp.close() print hp.title for link in hp.links: print link  

 

其它节点取文本就类似了

 

下面是我工作中用到的一段脚本:

''' Created on 2011-1-11 @author: wangt@72ec.com ''' import re from HTMLParser import HTMLParser class MyHTMLParser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.flag = 0 # lable flag self.content_flag= 0 #content flag self.links = [] self.title="" self.img="" self.content="" def handle_starttag(self, tag, attrs): #print "Encountered the beginning of a %s tag" % tag if tag == "a": if len(attrs) == 0: pass else: for (variable, value) in attrs: if variable == "href": self.links.append(value) if tag == "ul": if len(attrs)==0:pass else: for(varviable,value) in attrs: if varviable=="class" and (value=="info" or value=="description"): self.flag=3 self.content_flag=1 if tag == "div": if len(attrs)==0:pass else: for(varviable,value) in attrs: if varviable=="class": if value=="content" or value=="description" or value=="conleft": self.flag=3 self.content_flag=1 if tag=="meta": if len(attrs)==0:pass else: for (variable,value) in attrs: if variable=="content": pass#self.title=value if tag=="title": self.flag=1 if tag=="img": if len(attrs)==0:pass else: img_host=u'http://pic.58.com/' for(variable,value) in attrs: if variable=="src" and img_host in value: if self.img=="": self.img=value if tag=="p": if self.flag==3: self.flag=2 if tag=="br": if self.content_flag==1: self.flag=2 def handle_endtag(self, tag): if tag=="p": if self.content_flag==1: self.content_flag=0 def handle_data(self,data): if self.flag==1: self.title=data self.flag=0 if self.flag==2: self.content+=data self.flag=0