Python爬虫之模拟登录总结

备注：python 2.7.9，32位

有些网站需要登录后才能爬取所需要的信息，此时可以设计爬虫进行模拟登录，原理是利用浏览器cookie。

一、浏览器访问服务器的过程：
    （1）浏览器（客户端）向Web服务器发出一个HTTP请求（Http request）；
    （2）Web服务器收到请求，发回响应信息（Http Response）；
    （3）浏览器解析内容呈现给用户。

二、利用Fiddler查看浏览器行为信息：

Http请求消息：

（1）起始行：包括请求方法、请求的资源、HTTP协议的版本号

    这里GET请求没有消息主体，因此消息头后的空白行中没有其他数据。

    

（2）消息头：包含各种属性

（3）消息头结束后的空白行

（4）可选的消息体：包含数据