python爬虫之使用cookie爬取登录后的界面、使用cookieFileJar保存cookie文件、cookie读取

最新推荐文章于 2024-08-07 03:47:46 发布

reb0rn初代

最新推荐文章于 2024-08-07 03:47:46 发布

阅读量999

点赞数

分类专栏： Python知识 python、rpa自动化

本文链接：https://blog.csdn.net/qq_34195441/article/details/89144545

版权

本文介绍了Python爬虫中如何利用Cookie进行登录和访问登录后界面，包括Cookie与Session的区别、Cookie的属性、如何保存和读取Cookie到文件。通过FileCookieJar实例学习了如何自动使用和管理Cookie，实现模拟登录。

摘要由CSDN通过智能技术生成

1、cookie & session简介

-由于http协议的无记忆性，人们为了弥补这个这个缺憾，所采用的一个补充协议

-cookie是发放给用户（即http浏览器）的一段信息（通常记录用户身份），session是保存在服务器上的对应的另一半信息，用来记录用户信息

（1）cookie和session的区别

-存放位置不同

-cookie不安全

-session会保存在服务器上一定时间，会过期

-单个cookie保存数据不超过4K，很多浏览器限制一个站点最多保存20个

（2）session的存放位置

-存在服务器端

-一般情况，session是放在（想要速度快的话放内存）内存中或者（默认放）数据库中

-没有cookie登录，可以看到，没有使用cookie则反馈网页为未登录状态

from urllib import request
if __name__ == '__main__':
    url = "https://www.renren.com/965187997/profile"
    #req = request.Request(url)
    rsp = request.urlopen(url)
    html = rsp.read().decode()

'''
UnicodeEncodeError: 'gbk' codec can't encode character '\ue600' in position 145620: illegal multibyte sequence
解决：改为utf-8
'''
with open("rsp.html","w") as f:
    f.write(html)

2、cookie登录、访问、属性、保存

（1）直接把cookie复制下来，然后手动放入请求头（例：访问人人网）

# 爬虫使用cookie
from urllib import request

if __name__ == '__main__':
    url = "http://www.renren.com/970362268"

    headers = {
        "cookie":"_r01_=1; ick=1a32e31e-bdfa-408b-8b87-68ac0c4ff4c7; anonymid=ju9fbgww-soghnp; depovince=GW; JSESSIONID=abcb7WJ_ynJeK_VXV2aOw; ick_login=c85d8114-439e-4d82-8e5f-10646cd37430; t=62d2b8164ae2b729d12263c9f4c482e68; societyguester=62d2b8164ae2b729d12263c9f4c482e68; id=970362268; xnsid=ff14ddfa; ver=7.0; loginfrom=null; jebe_key=16d9bc6a-222a-40ce-af09-9a18a0663e8c%7C57573f7