爬虫入门：Cookie管理

场景：人人网访问其他人主页需要登陆，人人网的登陆不需要验证码，所以初始阶段可以通过想请求中传入参数，先登陆一次人人网，然后记录下Cookie，这样下次就可以利用这个Cookie直接访问想要访问的他人主页。

#导库
from http.cookiejar import MozillaCookieJar
from http.cookiejar import CookieJar
from urllib import request
from urllib import parse

#人人网登陆网址
url_login = ‘http://www.renren.com/PLogin.do’
#要访问的他人主页地址
url_visit = ‘http://www.renren.com/880151247/profile’
headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36’
}
#人人网的账号密码作为数据参数传入实现登陆
#email和password两个词缀不是自己取的，需要查看网页源代码确定输入进输入框的变量名称
data = {
‘email’:‘805499910@qq.com’,
‘password’:‘shenyihua1314’
}

#先使用账号密码实现登陆以获取需要的Cookie
#首先使用MozillaCookieJar创建存储Cookie的文件
cookiejar = MozillaCookieJar(‘cookie.txt’)
#创建用于访问的handler和opener，将此次访问的cookie存储在cookie.txt中
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
#使用Request创建一个访问，传入headers和data等信息，其中data需要先使用urlencode将data数据先进行适用于url的编码，（汉字变成%EA这种），再将这个字节流用utf-8编码成str
req = request.Request(url_login,headers=headers,data=parse.urlencode(data).encode(‘utf-8’))
opener.open(req)
#访问结束，将Cookie使用save函数存储好，ignore_discard=True就算Cookie信息过期也存，没有这个参数可能就不会存储这个cookie
cookiejar.save(ignore_discard=True)

#得到了登陆后的Cookie，现在使用这个Cookie来进行下一步的访问
#创建一个新的cookiejar来接受上次登陆操作完存储的Cookie
cookiejar2 = MozillaCookieJar(‘cookie.txt’)
#使用load来接收Cookie信息，记住这里也要加上忽视过期的参数
cookiejar2.load(ignore_discard=True)
handler2 = request.HTTPCookieProcessor(cookiejar2)
opener2 = request.build_opener(handler2)
req2 = request.Request(url_visit,headers=headers)
resp = opener2.open(req2)
#实测成功访问并爬取到大鹏董成鹏的个人主页信息
print(resp.read().decode())