python网络爬虫系列（三）——cookie的原理、保存与加载

一、什么是cookie？

在网站中,http请求是无状态的.也就是说即使第一次和服务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是哪个用户。
cookie的出现就是为了解决这个问题,第一次登录后服务器返回一些数据(cookie)给浏览器,然后浏览器保存在本地,当该用户发送第二次请求的时候,就会自动的把上次请求存储的cookie数据自动的携带给服务器,服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限,不同的浏览器有不同的存储大小,但一般不超过4KB.因此使用cookie 只能存储一些小量的数据.
cookie的格式:

Set-Cookie:NAME=VALUE:Expires/Max-age=DATE;Path=PATH;Domain=DONAIIN_NAME;SECURE

参数意义：

• NAME:cookie的名字。
• VALUE:cookie的值。
• Expires:cookie的过期时间。
• Path:cookie作用的路径。
• Domain:cookie作用的域名。
• SECURE：是否只在https协议下起作用。

使用cookielib库和HTTPCookieProcessor模拟登录：
Cookie是指网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户刻览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。
这里以人人网为例。人人网中，要访问某个人的主页，必须先登录才能访问，登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问，就必须要有正确的cookie信息才能访问。解决方案有两种，第一种是使用刻览器访问，然后将cookie信息复制下来，放到headers中。示例代码如下：

from urllib import request


# 1.不使用cookie请求大鹏主页
# dapeng_url = "http://www.renren.com/880151247/profile"
# headers = {
#     "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
#
# }
#
# req = request.Request(url=dapeng_url,headers=headers)
# resp = request.urlopen(req)
# # print(resp.read().decode('utf-8'))
# with open('renren.html','w') as fp:
#     # write函数必须写入一个str的数据类型
#     # resp.read()读出来的是bytes数据类型
#     # bytes -> decode -> str
#     # str -> encode -> bytes
#     fp.write(resp.read().decode('utf-8'))


# 2.使用cookie
dapeng_url = "http://www.renren.com/880151247/profile"
headers = {
    "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
    "Cookie":"anonymid=kc8gdto1-vg5rhe; depovince=ZGQT; _r01_=1; taihe_bi_sdk_uid=e248d1662297420b5f06cd39f5473be6; JSESSIONID=abcd7dz_b4rckd6y2ZEmx; taihe_bi_sdk_session=73ccff9edc2442cb1943f51498722d59; ick_login=917cc18b-cda3-4db0-9cfb-da1e66d794ed; t=7e664919cb492b651432f05ae73537fd8; societyguester=7e664919cb492b651432f05ae73537fd8; id=974712998; xnsid=e1262476; jebecookies=cc307376-600f-4a31-8694-23c4c218aecb|||||; ver=7.0; loginfrom=null; XNESSESSIONID=ac057eb05af7; WebOnLineNotice_974712998=1"

}

req = request.Request(url=dapeng_url,headers=headers)
resp = request.urlopen(req)
# print(resp.read().decode('utf-8'))
with open('renren1.html','w',encoding='utf-8') as fp:
    # write函数必须写入一个str的数据类型
    # resp.read()读出来的是bytes数据类型
    # bytes -> decode -> str
    # str -> encode -> bytes
    fp.write(resp.read().decode('utf-8'))

但是每次在访问需要cookie的页面都要从浏览器中复制cookiet较麻烦。在Python处理Cookie，一般是通过http.cookiejar模块和ur11ib惯块的HTTPCookieProcessor 处理器类一起使用。http.cookiejar模块主要作用是提供用于存储cookie的对象。
而HTTPCookieProcessor 处理器主要作用是处理这些cookie对象，并构建handler对象。

http.cookiejar模块：
该模块主要的类有CookieJar、FileCookieJar、MozllaCookieJar、LwPCookieJar。这四个类的作用分别如下：

1. CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

2. FileCookieJar（filename.delayload=None，policy=None）：从CookieJar派生而来，用来创建FileCookieJar实例，检素cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。

3. MozillaCookieJar（filename.delayload=None.policy=None）：从FileCookieJar凝生而来，创建与Mozilla/览器cookies.txt兼容的FileCookieJar实例。

4. LWPCookieJar（filename，delayload=None，policy=None）：从FileCookieJar派生而来，创建与libwww-per标准的 Set-Cookie3文件格式兼容的FileCookieJar实例。

利用http.cookiejar和request.HTTPCookieprocessor登录人人网。相关示例代码如下：

from urllib import request
from http.cookiejar import CookieJar
from urllib import parse


# 1、登录
# 1.1 创建一个cookiejar对象
cookiejar = CookieJar()

# 1.2 使用cookiejar创建一个HTTPCookieProcess对象
handler = request.HTTPCookieProcessor(cookiejar)

# 1.3 使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)

# 1.4 使用opener发送登录请求（人人网的邮箱和密码）
headers = {
"User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
}
data = {
    'email':"你的用户邮箱",
    'password':"密码"
}


login_url = "http://www.renren.com/PLogin.do"
req = request.Request(login_url,data=parse.urlencode(data).encode('utf-8'),headers=headers)
opener.open(req)

# 2、访问个人主页
dapeng_url = "http://www.renren.com/880151247/profile"
# 获取个人主页信息页面时，不要新建opener
# 应该使用前面创建好的opener,因为之前的那个opener已经包含了登录所需要的cookie信息
req = request.Request(dapeng_url,headers=headers)
resp = opener.open(req)
with open('renren2.html','w',encoding='utf-8') as fp :
    fp.write(resp.read().decode('utf-8'))

from urllib import request
from http.cookiejar import CookieJar
from urllib import parse

headers = {
    "User-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
}

def get_opener():
    # 1、登录
    # 1.1 创建一个cookiejar对象
    cookiejar = CookieJar()

    # 1.2 使用cookiejar创建一个HTTPCookieProcess对象
    handler = request.HTTPCookieProcessor(cookiejar)

    # 1.3 使用上一步创建的handler创建一个opener
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    # 1.4 使用opener发送登录请求（人人网的邮箱和密码）
    data = {
        'email': "你的用户邮箱",
        'password': "密码"
    }

    login_url = "http://www.renren.com/PLogin.do"
    req = request.Request(login_url, data=parse.urlencode(data).encode('utf-8'), headers=headers)
    opener.open(req)



def visit_profile(opener):
    # 2、访问个人主页
    dapeng_url = "http://www.renren.com/880151247/profile"
    # 获取个人主页信息页面时，不要新建opener
    # 应该使用前面创建好的opener,因为之前的那个opener已经包含了登录所需要的cookie信息
    req = request.Request(dapeng_url, headers=headers)
    resp = opener.open(req)
    with open('renren3.html', 'w', encoding='utf-8') as fp:
        fp.write(resp.read().decode('utf-8'))


if __name__ == '__main__':
    opener = get_opener()
    login_renren(opener)
    visit_profile(opener)

保存cookie到本地：
保存cookie到本地，可以使用cookiejar的save方法，并且需要指定一个文件名：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie.txt')
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

resp = opener.open('http://www.baidu.com/')

cookiejar.save()

通过http://httpbin.org/cookies/set?course=abc 来设置cookie:

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie1.txt')
# cookiejar.load()
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

# resp = opener.open('http://www.baidu.com/')
resp = opener.open('http://httpbin.org/cookies/set?course=abc')
# resp = opener.open('http://httpbin.org/cookies')
# for cookie in cookiejar:
#     print(cookie)
cookiejar.save(ignore_discard=True)

加载保存在本地的cookie:

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie1.txt')
cookiejar.load(ignore_discard=True) # 加载保存在本地的cookie
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

# resp = opener.open('http://www.baidu.com/')
# resp = opener.open('http://httpbin.org/cookies/set?course=abc')
resp = opener.open('http://httpbin.org/cookies')
for cookie in cookiejar:
    print(cookie)
# cookiejar.save(ignore_discard=True)