该文是http://blog.csdn.net/c406495762博客的学习笔记.
为什么要使用Cookie
Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。
比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容,登陆前与登陆后是不同的,或者不允许的。
使用Cookie和使用代理IP一样,也需要创建一个自己的opener。在HTTP包中,提供了cookiejar模块,用于提供对Cookie的支持。
http.cookiejar功能强大,我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送,比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
它们的关系: CookieJar–派生–>FileCookieJar–派生–>MozillaCookieJar和LWPCookieJar
工作原理:创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。查看登录之后才能看到的信息。
使用方法:
- 创建cookie的实例对象 CookieJar/FileCookieJar/MozillaCookieJar
cookie = cookiejar.CookieJar()
- 创建cookie实例对象的处理器,也就CookieHandler
handler = request.HTTPCookieProcessor(cookie)
- 通过CookieHandler创建opener
opener = request.build_opener(handler)
- 使用opender的open方法打开网页
response = opener.open('http://www.baidu.com')
下面是一个完整的例子:
from urllib import request
from http import cookiejar
# 1.创建cookie的实例对象
cookie = cookiejar.CookieJar()
# 2.创建cookie处理器,也就CookieHandler
handler = request.HTTPCookieProcessor(cookie)
# 3.通过CookieHandler创建opener
opener = request.build_opener(handler)
# 4.使用opender的open方法打开网页
response = opener.open('http://www.baidu.com')
# 打印cookie信息
for item in cookie:
print('Name = %s' % item.name)
print('Value = %s' % item.value)