爬虫-在请求头中添加cookie键值对 访问登陆后可见的页面

关于cookie

》笔记

》理解

cookie相当于病人手里的病历

cookie的格式

请求头中添加cookie键值对

练习-不使用cookie访问个人中心

访问人人网个人中心

结果是得到了登陆页的代码

抓包获取登陆后的cookie

通过登录以后的状态，在抓包工具里面查找饼干的信息

这个是获取的来源

通过复制的方式拿到

然后构建成请求头字典中

形成一个键值对

练习-带上cookie访问个人中心

最终可以保存个人中心的代码到文件中

小结

通过在请求头中带上cookie信息

可以访问到登陆后可见的页面

实操-获取豆瓣个人中心页

》个人中心的响应

》写代码获取

测试时换个人中心网址

换cookie值

from urllib.request import urlopen, Request, ProxyHandler, build_opener

# 请求网址，豆瓣个人中心
url = 'https://www.douban.com/people/206127933/'
# 请求头
headers = {
    'cookie': 'bid=eZp0zaYgDzE; douban-fav-remind=1; __yadk_uid=EZ3xpi4vNTiKj1YVOgLLxjSzN02jRMR7; __gads=ID=a3702e7fef43a1e0:T=1581055753:S=ALNI_MbSG8rBN70cB-TRXzbnfSVeOKuAOw; viewed="34450974"; gr_user_id=79fdefb9-560a-4021-af3c-ed0feba847f4; _vwo_uuid_v2=D61D807B2CDFC6204CBABF5772CFC6F1F|a7780ffd05a73840df44e4b1d14db4dd; ll="118254"; _pk_ref.100001.8cb4=%5B%22%22%2C%22%22%2C1582351327%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DB-_IztpoRf_bmg10sLunN21xOB0-fKai_-RKlX5QFDMg6Iz7HzG72z4rFp65v6OE%26wd%3D%26eqid%3Dda1a2031001a3d9b000000065e50c3dc%22%5D; _pk_ses.100001.8cb4=*; __utma=30149280.2011176637.1581055753.1581756356.1582351328.6; __utmc=30149280; __utmz=30149280.1582351328.6.4.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmt=1; dbcl2="206127933:e8QwC1/1+No"; ck=WlQK; ap_v=0,6.0; push_noty_num=0; push_doumail_num=0; __utmv=30149280.20612; douban-profile-remind=1; _pk_id.100001.8cb4=e4aee919f4c16a67.1581055752.3.1582351381.1581742373.; __utmb=30149280.5.10.1582351328',
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
# 请求对象
resq = Request(url, headers=headers)
# 发起请求
resp = urlopen(resq)
# 打印响应
print(resp.read().decode())

运行结果，在结果中搜索用户名pyhui的效果