用python模拟一个文本浏览器来抓取网页

最近在研究爬虫, 主要是用urllib和urllib2以及其他的一些标准库.

当然, urllib2的缺点就是不能看到 http请求发送了那些header, 服务器返回的信息也看不到, 只能看到html代码.

实际情况肯定是能够看到的, 只是调用起来比较麻烦.

比如, 你构造了 Request(url, data), 你想看看你的http请求都有哪些东西, 你就不是很方便了.

比如看到下面这个http的请求头, 确实很麻烦.

GET / HTTP/1.1
Accept-Language: zh-cn
Accept-Encoding: gzip,deflate
Connection: close
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 Safari/537.31
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Host: www.google.com

在网上找了很多地方, 我知道了, 这个http请求头, 可以使用httplib中的httpconection来监视.

其奥秘就在urllib2.build_opener() 和 urllib2.install_opener()这个函数.

什么是openner? 就是urllib2的urlopen()这个函数最终用来打开网页的一个opener, urllib2默认使用httplib.HTTPConnection 来打开网页. httplib.HTTPConnection 只负责打开网页, 其他的事情, 比如显示它到底发出了什么http请求头, 它就不管了. 那么, 如何让它管这个事情呢, 那就是从httplib.HTTPConnection继承一个类MyHTTPConnection, 在发出http请求的同时 print一下 http request header就可以了:

class MyHTTPConnection(httplib.HTTPConnection):
    def send(self, s):
        print('\n----> Http Request Sended ---->')
        print( s ) # 干点httplib.HTTPConnection不做的事情.
        httplib.HTTPConnection.send(self, s)

opener = urllib2.build_opener(MyHTTPHandler)

然后就可以使用这个openner打开网页了

req = urllib2.Request(url=url, data=data)
response = opener.open(req)
content = response.read()

你可以看到, 在执行的同时, 就print出来http请求头信息了.

其他的, 诸如显示服务器返回的response 信息(比如服务器信息, content_length等等), 还有cookie, 都可以通过重载继承urllib2.HTTPHandler, urllib2.HTTPErrorProcessor, urllib2.HTTPCookieProcessor 等等urllib2默认的opener来做一些自己想做的事情. 这个在调试抓取网页的时候特别的方便.

如果知道了这个原理, 我想, 我就明白了BAE, 百度云环境为啥说他们的urllib2获取网页的时候, 使用了百度自带的抓取服务了, 因为你在bae上用urllib2的时候, 跟在自己电脑上使用urllib2没啥区别.实际上bae肯定是改写了 urllib2.HTTPHandler.

最后总结: 其实爬虫的最关键技术就是了解http协议. 所以研究urllib2到最后, 我就开始研究http协议了.

后续 参考资料:

1: Python模块学习 ---- httplib HTTP协议客户端实现 http://blog.csdn.net/jgood/article/details/4317416  这里主要是介绍python的httplib,不要被作者的标题迷惑

2. HTTP协议详解  http://blog.csdn.net/gueter/article/details/1524447 

后续:  用python写了一个简单的模拟浏览器抓取网页的库webclient