python:cookie概念和应用

1.什么是Cookie
cookie （储存在用户本地终端上的数据）。Cookie 在计算机中是个存储在浏览器目录中的文本文件，当浏览器运行时，存储在 RAM 中发挥作用 （此种 Cookies 称作 Session Cookies），一旦用户从该网站或服务器退出，Cookie 可存储在用户本地的硬盘上 （此种 Cookies 称作 Persistent Cookies）。通常情况下，当用户结束浏览器会话时，系统将终止所有的 Cookie。当 Web 服务器创建了Cookies 后，只要在其有效期内，当用户访问同一个 Web 服务器时，浏览器首先要检查本地的Cookies，并将其原样发送给 Web 服务器。这种状态信息称作“Persistent Client State HTTP Cookie” ，简称为 Cookies。
一个浏览器能创建的 Cookie 数量最多为 300 个，并且每个不能超过 4KB，每个 Web 站点能设置的 Cookie 总数不能超过 20 个。
2.opener和cookielib
2.1 opener
urlopen是一个特殊的opener，可以理解成opener的一个特殊实例，传入的参数仅仅是url，data，timeout。
如果需要用到Cookie，只用这个opener是不能达到目的的，所以需要创建更一般的opener来实现对Cookie的设置。
2.2 cookielib
cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib2模块配合使用来访问Internet资源。Cookielib模块非常强大，可以利用本模块的CookieJar类的对象来捕获
cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
它们的关系：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar
3 Cookie应用
3.1获取Cookie保存到变量
import urllib2
import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法，也可以传入request
response = opener.open(‘http://www.baidu.com’)
for item in cookie:
print 'Name = '+item.name
print 'Value = '+item.value
3.2保存Cookie到文件
import cookielib
import urllib2
#设置保存cookie的文件，同级目录下的cookie.txt
filename = ‘cookie.txt’
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求，原理同urllib2的urlopen
response = opener.open(“http://www.baidu.com”)
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)
#注：ignore_discard: save even cookies set to be discarded.
#注：ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists
3.3从文件中获取Cookie并访问
import cookielib
import urllib2
#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load(‘cookie.txt’, ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request(“http://www.baidu.com”)
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()
设想，如果cookie.txt 文件中保存的是某个人登录百度的cookie，那么提取出这个cookie文件内容，就可以用以上方法模拟这个人的账号登录百度。
3.4利用cookie模拟网站登录 import urllib import urllib2 import cookielib
filename = ‘cookie.txt’
#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
‘stuid’:‘201200131012’,
‘pwd’:‘23342321’
})
#登录教务系统的
URL loginUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login’
#模拟登录，并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另一个网址，此网址是成绩查询网址
gradeUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre’
#请求访问成绩查询网址
result = opener.open(gradeUrl) print result.read()

#urllib.request.install_opener(opener)
#安装opener作为urlopen()使用的全局URL opener，即以后调用urlopen()时都会使用安装的opener对象。

参考文献：
1.静觅 » Python爬虫入门六之Cookie的使用,https://cuiqingcai.com/968.html。
2.https://baike.baidu.com/item/cookie/1119?fr=aladdin。