Python2.7里内置了很多非常有用的库,它在我电脑上的位置在/usr/lib/python2.7中。
写个基本的爬虫要用到的库有urllib、urllib2、cookielib、sgmllib和re,下面先分别简单介绍下一些文件的信息和相关函数——具体的真的是建议阅读源码,网上找的资料反而不及它直观(但先了解个大概总是好的),但sgmllib除外。先看一段代码吧。
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
urllib2.install_opener(opener)
response = urllib2.urlopen(url)
urllib2.py 这个文件的注释是最最良心的,基本上看了下注释和浏览文件主class和def都能了解用法了。按注释上的说法,它是An extensible library for opening URLs using a variety of protocols. 其主要class有:
Handler —— Each Handler implements a particular protocol or option. 它并不是一个特定的class,而是一堆有各自专门作用的Handler的集合,比如在def build_opener里default_classes记录的ProxyHandler, HTTPHandler(各为一种class)。每一个Handler都是用特定的url协议打开url或处理url的一些相关内容,比如上面的HTTPCookieProcessor,能通过传入的CookieJar沿用之前的Cookie,并有http_request和http_response函数将其整入到request或response当中。这些class都继承于class BaseHandler。
class OpenerDirector —— The OpenerDirector sets up the User Agent as the python-urllib client and manages a collection of Handler objects.
在其__init__函数可以清楚的看到self.addheaders = [('User-agent', client_version)] 一句,可见它现在是准备构造一个请求(只是准备)。然后它还有add_handler(self, handler)方法来为其添加Handler。简单来说就是个人认为它是用来告诉urllib2(上面说了as the python-urllib client)该以怎样的方式处理作参传入的url。至于这个class下面的open这些方法稍后再说。
def build_opener(*handlers) 实例化一个OpenerDirector类, 并将它稍加处理后return
def install_opener 函数用于将传入的OpenerDirector对象用global转换成全局变量,这样urllib2打开url时就能用设定好的方式打开
def urlopen 先看它相关的源码:
(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT):
global _opener
if _opener is None:
_opener = build_opener()
return _opener.open(url, data, timeout)
然后对于返回的页面结果的相关描述是,It opens the URL and returns the results as file-like object. url和请求可能用到的data都在参数列表里面了,还有最后一句代码,可见这里是真正的发送请求和返回页面信息的地方。在这顺便说下 OpenerDirector的open() 中有req = Request(fullurl, data) 一句,可见Request是在这构建的。然后,open()又调用了_open(),_open()又调用了_call_chain()......这些函数还会一层一层的调用下去,这里就不扯了。我们写爬虫要考虑的到 urlopen()这里就够了。等以后看较低层的内容时我再另外写文说明吧。
还有其他的一些就不说了,感觉没必要,如class Request,就是An object that encapsulates the state of a request.
Urllib.py 对于特定url请求的都还是直接用urllib2.py就好了,它有部分内容都是urllib.py 给import过去的,感觉那边的使用方便多了;虽说这里有不少内容都是urllib2.py上没用的,但总感觉可以用别的更易懂的方式替代掉。另外,这个文件总有些莫名其妙的东西(比如突然蹦出一行 ftpcache = {} 老搞得我开始怀疑人生
所以这里只说该文件的一个character set处理的问题。比如它有urlencode(),可将str进行URL编码()——当然是先编码再将data作参整合到Request当中啦。此外,也还有toByte()这样的处理方式。这些都是散的,要用的时候看源码查谷歌就好。
此外,它还有if sys.platform == 'darwin'和elif os.name == 'nt'这样好玩的语句。这个文件,可以说想了解基层的处理的话,一定要读。
Cookielib.py 我对cookie不怎么了解,这里也只挑一点点个人觉得较重要的讲
class Cookie 就只是对一个cookie操作啊,也是__init__ __str__ __repr__这些操作,
也还有直接对它的特定属性进行操作的,比如
set_nonstandard_attr(self, name, value):
self._rest[name] = value
class CookieJar 注释说得很清楚了,Collection of HTTP cookies。至于Cookie的收集来源就是path(好像也有方法支持从request里剥下来?不十分确定)。主要方法有_cookies_for_domain和_cookies_for_request。
在这顺便提下Cookie的 domain和path属性。domain为cookie对象的有效域,可以不是请求生成的访问域。cookie不能直接跨域访问,但能有一定的方法突破这个限制。
path则表示cookie所在目录
另外,有些页面貌似是要附有特定进入页面的cookie信息才有效的样子(至少我是这么理解针对我学校课程信息的爬虫代码的).
sgmllib.py 读这个文件的时候感到十分蛋疼,完全不知道讲的啥。在这种情况下,个人建议还是先上网查查这个文件干嘛的,大概怎么用,理清点结构再回来看,这时就会感到清晰多了。
这文件主要就是一个SGMLParser。它将HTML文档内容根据标签等分解成一个个有用的片段,并根据各片段的特点分别调用自身内对象的方法进行处理,解读各片段时会依照原文档里出现的顺序
在定义解析Hypertext时具体要干嘛时,要先建立一个SGMLParser子类,然后定义在遇到特定标签的行为(如def start_td就是描述遇到
的时候这个子类要干嘛,def end_td则是解析到时的行为),至于在两者中间呢...between tags is passed to the parser by calling self.handle_data().另外,它也还能解析自定义标签。据说解析大份文档时,性能上是优于正则的。这个我没测试。re.py则是python里用来表示正则的。常用的就是reg = re.complie('xxx') 来构建一个正则式,再objs = reg.findall(content) 在content里找到全部的符合reg的内容。然后就可以for obj in objs来遍历处理了。
另外,如果有必要设utf-8编码,最好记得import sys后,再reload(sys) ,然后再设sys.setdefaultencoding( "utf-8" )
然后直接上个最简单的实例吧
cookiejar = cookielib.CookieJar() # 下面有检查的,没有cookie它也会自己间一个
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
urllib2.install_opener(opener)
response = urllib2.urlopen(url)
content = response.read()
content = content.decode("gb18030")
print content
爬下来了就用sgml或者re找你感兴趣的部分吧。可惜我正则并不算过关,写个麻烦点的都得先看看例子。