python 爬虫 cookie_python 爬虫 cookie 的保存和加载

相关库

Cookie (py2) 等于 http.cookie (py3)

cookielib (py2) 等于 http.cookiejar (py3)

python3 处理 cookie

保存到变量

import http.cookiejar, urllib.request

cj = http.cookiejar.CookieJar()

opener = urllib.request.build_opener(urllib.request.HTTPCookieProcesser(cj))

r = opener.open('http://douban.com')

# 此时, cookie 已经保存在 cj 中了

for i in cj:

print(i.name, i.value)

输出:

bid "a3YOzYxKBc9"

ll "219731"

保存到文件

import http.cookiejar, urllib.request

cj = http.cookiejar.MozillaCookieJar('cookie.txt')

# cj = http.cookiejar.LWPCookieJar() # 可读性更好

opener = urllib.request.build_opener(urllib.request.HTTPCookieProcesser(cj))

r = opener.open('http://douban.com')

cj.save() # 也可以在这里指定保存的文件名 cj.save('new_cookie.txt')

# save() 可设置过期参数 ignore_discard=True: 即使将被丢弃也保存. ignore_expires=True: 即使过期也保存

# cj.save(ignore_discard=True, ignore_expires=True)

从文件加载 cookie

import http.cookiejar, urllib.request

cj = http.cookiejar.MozillaCookieJar()

cj.load('cookie.txt')

opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))

req = urllib.request.Request('http://douban.com')

r = opener.open(req)

# 上两句可以这样

# r = opener.open('http://douban.com')

python2 处理 cookie

保存到变量

import cookielib, urllib2

cj = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcesser(cj))

r = opener.open('http://douban.com')

requests 库处理 cookie

响应中的cookie

>>> r = requests.get('http://douban.com')

>>> r.cookies.items()

[('bid', '"/cMAIpJIhm0"'), ('ll', '"178229"')]

发送 cookie

>>> url = 'http://httpbin.org/cookies'

>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)

>>> r.text

'{"cookies": {"cookies_are": "working"}}'

通过会话Session保持cookie:

s = requests.Session()

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

r = s.get("http://httpbin.org/cookies")

print(r.text)

# '{"cookies": {"sessioncookie": "123456789"}}'

s.cookies['cookie1'] = 'a'

s.cookies['cookie2'] = 'b'

保存到文件, 从文件加载

requests.cookies.cookielib 相当于 http.cookiejar (py3) 和 cookielib (py2)

requests.cookies.RequestsCookieJar 相当于 http.cookiejar.CookieJar (py3) 和 cookielib.CookieJar (py2)

将一个Session实例的cookies属性设置赋值成 一个 CookieJar 实例

import http.cookiejar

s = requests.session # 或 s = requests.Session()

s.cookies = http.cookiejar.LWPCookieJar('mycookie.txt')

s.get('http://douban.com')

s.save(ignore_expires=True, ignore_discard=True) # 已保存到 mycookie.txt

s.cookies.clear() # 清除

s.cookies.load('mycookie.txt') # 从文件加载

# s.cookies.revert() # 这个方法等于先清除后加载