最近在研究爬虫, 主要是用urllib和urllib2以及其他的一些标准库.
当然, urllib2的缺点就是不能看到 http请求发送了那些header, 服务器返回的信息也看不到, 只能看到html代码.
实际情况肯定是能够看到的, 只是调用起来比较麻烦.
比如, 你构造了 Request(url, data), 你想看看你的http请求都有哪些东西, 你就不是很方便了.
比如看到下面这个http的请求头, 确实很麻烦.
GET / HTTP/1.1
Accept-Language: zh-cn
Accept-Encoding: gzip,deflate
Connection: close
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 Safari/537.31
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Host: www.google.com
在网上找了很多地方, 我知道了, 这个http请求头, 可以使用httplib中的httpconection来监视.
其奥秘就在urllib2.build_opener() 和 urllib2.install_opener()这个函数.
什么是openner? 就是urllib2的urlopen()这个函数最终用来打开网页的一个opener, urllib2默认使用httplib.HTTPConnection 来打开网页. httplib.HTTPConnection 只负责打开网页, 其他的事情, 比如显示它到底发出了什么http请求头, 它就不管了. 那么, 如何让它管这个事情呢, 那就是从httplib.HTTPConnection继承一个类MyHTTPConnection, 在发出http请求的同时 print一下 http request header就可以了:
class MyHTTPConnection(httplib.HTTPConnection):
def send(self, s):
print('\n----> Http Request Sended ---->')
print( s ) # 干点httplib.HTTPConnection不做的事情.
httplib.HTTPConnection.send(self, s)
opener = urllib2.build_opener(MyHTTPHandler)
然后就可以使用这个openner打开网页了
req = urllib2.Request(url=url, data=data)
response = opener.open(req)
content = response.read()
其他的, 诸如显示服务器返回的response 信息(比如服务器信息, content_length等等), 还有cookie, 都可以通过重载继承urllib2.HTTPHandler, urllib2.HTTPErrorProcessor, urllib2.HTTPCookieProcessor 等等urllib2默认的opener来做一些自己想做的事情. 这个在调试抓取网页的时候特别的方便.
如果知道了这个原理, 我想, 我就明白了BAE, 百度云环境为啥说他们的urllib2获取网页的时候, 使用了百度自带的抓取服务了, 因为你在bae上用urllib2的时候, 跟在自己电脑上使用urllib2没啥区别.实际上bae肯定是改写了 urllib2.HTTPHandler.
最后总结: 其实爬虫的最关键技术就是了解http协议. 所以研究urllib2到最后, 我就开始研究http协议了.
后续 参考资料:
1: Python模块学习 ---- httplib HTTP协议客户端实现 http://blog.csdn.net/jgood/article/details/4317416 这里主要是介绍python的httplib,不要被作者的标题迷惑
2. HTTP协议详解 http://blog.csdn.net/gueter/article/details/1524447