cookie在爬虫方面的应用-模拟登录

Cookies在爬虫方面最典型的应用是判定注册用户是否已经登录网站，在下一次进入此网站时保留用户信息，可以简化登录或其他验证过程。

在模拟登录网站时：需要发送一个post请求去获取有登录信息的cookie(登录页面跳转到用户页面的时候，抓包此时的cookie是一个保存了用户登录状态的cookie）需要把cookie信息放入headers中。这种方法需要浏览器登录用户名和密码。比较复杂，下面介绍一种简单的方法。

在Python处理Cookie，一般是通过cookielib模块和 urllib2模块的HTTPCookieProcessor处理器类一起使用。

cookielib模块：主要作用是提供用于存储cookie的对象。主要对象有cookiejar,filecookiejar,mozillacookiejar,lwpcookiejar.

HTTPCookieProcessor处理器：主要作用是处理这些cookie对象，并构建handler对象。

在大多数情况下，值用cookiejar().需要和本地文件交互的时候，就用mozillacookiejar()或者lwpcookiejar().

import urllib
import urllib2
import cookielib
# 1. 构建一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
# 2. 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象
cookie_handler = urllib2.HTTPCookieProcessor(cookie)
# 3. 通过 build_opener() 来构建opener
opener = urllib2.build_opener(cookie_handler)
# 4. addheaders 接受一个列表，里面每个元素都是一个headers信息的元祖, opener将附带headers信息
opener.addheaders = [("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36")]
# 5. 需要登录的账户和密码
data = {"email":"xxxxxxxxx", "password":"xxxx"}  
# 6. 通过urlencode()转码
postdata = urllib.urlencode(data)
# 7. 构建Request请求对象，包含需要发送的用户名和密码
request = urllib2.Request("http://www.renren.com/PLogin.do", data = postdata)
# 8. 通过opener发送这个请求，并获取登录后的Cookie值，
opener.open(request)                                              

# 9. opener包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
response = opener.open("http://www.renren.com/410043129/profile")  

# 10. 打印响应内容
print response.read()

模拟登录的注意事项：

登录一般先有一个HTTP GET，用来拉取一些信息、获得cookie，然后再HTTP POST登录

HTTP POST登录的连接可能是动态的，从GET返回的信息中获取

动态加载的页面基本上都是json文件（辨识方法：发送页面请求，查看页面，下拉页面，数据是不断向下加载的。例如豆瓣电影影评排名。）数据并不是写死在页面上，这时需要抓包，从后台

拿到json。