cookie（一）http.cookiejar模块：两种方法实现模拟登录、cookie本地保存和加载

最新推荐文章于 2023-03-31 18:06:37 发布
最新推荐文章于 2023-03-31 18:06:37 发布
阅读量3.4k 收藏 14
点赞数 2
分类专栏： 爬虫学习 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wjf7496/article/details/109850725
版权
本文介绍了cookie的基本概念，详细讲解了如何利用http.cookiejar模块进行模拟登录，以及如何将cookie保存到本地文件并加载读取，以实现更持久的会话管理。
摘要由CSDN通过智能技术生成

一、cookie基本概念介绍

在这里插入图片描述
在这里插入图片描述

二、cookie模拟登录

""""
访问一个需要登录的网站需要加入cookie在headers中

以访问知乎热榜https://www.zhihu.com/hot为例
不登录无法访问热榜的内容 ：从程序控制台输出的网页内容中ctrl+F查找网页中复制的内容 
发现找不到，即使我们在headers中加了User-Agent也访问不了热榜内容

解决方法一： headers中加入从https://www.zhihu.com/hot网页复制的cookie
    注意仅仅在 headers中加入从网页https://www.zhihu.com/hot中
    复制的referer ：https://www.zhihu.com/仍然得不到网页具体内容
    必须要加cookie,加了之后referer加不加都可以
解决方法二： 使用http.cookiejar模块
	方法一缺点在于每次都要手动复制cookie
"""
方法一：

from urllib import request

url = 'https://www.zhihu.com/hot'
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    'cookie': '_zap=6254847e-05fc-47da-897d-32799a38c440; _xsrf=LMrVYFcjhUeQXgQwrldY9c5AMfmDkHh9; d_c0="AABe0WtVNRKPTuPNiS6nb1l79WQcZ8BVFKQ=|1605596807"; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1605597577,1605598205,1605616975,1605855550; SESSIONID=ac9jlFTsWbmfmjKTeSn6uMsaphHjGeQwHEWWAswMsoh; JOID=V10cA0j4RCKWAYRkbv1CPsJV2VdwmSsS_2vCPBSpJkP5b-gvNrUon8wHiGFk9L4tUVcrRbcGrsjOvtAgJEnd3gg=; osd=W1gRB0P0QS-SCohhY_lJMsdY3Vx8nCYW9GfHMRCiKkb0a-MjM7gslMAChWVv-LsgVVwnQLoCpcTLs9QrKEzQ2gM=; capsion_ticket="2|1:0|10:1605855613|14:capsion_ticket|44:OWUwMjdjYWJlNDJhNDZlZDlmMWVmODg5YTJiMjYxMmU=|a8eccf9506532bc47f26af3714887c4f5b82829ece6297f19a2e9e5fb66e1a04"; z_c0="2|1:0|10:1605855647|4:z_c0|92:Mi4xZG45MUF3QUFBQUFBQUY3UmExVTFFaVlBQUFCZ0FsVk5ucmVrWUFBSXhxNmdEYUo2NDRKVVRuZDM2bkRIY1RXSUJB|93924560630b1f1de724c39f20715724796813992cefa5bf443a44341eb9b547"; unlock_ticket="ADBA8ak6jAomAAAAYAJVTaZwt18cff3tVnbut8NYHQqBUQNImnP8Tg=="; tst=h; tshl=; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1605856062; q_c1=292df6e7c2104f348df3ce2c4656057e|1605856064000|1605856064000; KLBRSID=cdfcc1d45d024a211bb7144f66bda2cf|1605856297|1605855546',
    'referer': 'https://www.zhihu.com/'

}
req = request.Request(url, headers=headers)
with request.urlopen(req) as resp:
    print(resp.read().decode('utf-8'))

方法二：见http.cookiejar模块介绍

三、http.cookiejar模块

这一部分会基本的使用就行 不用太深入了解
http.cookiejar模块中主要的类有两个基本类，两个派生类
最低0.47元/天 解锁文章
Eniac-W
关注
专栏目录
Python标准库中的http.cookiejar --- HTTP 客户端的 Cookie 处理
北辰
07-21 955
FileCookieJar(filename,delayload=None,policy=None)从CookieJar派生而来，用来创建FileCookieJar实例，检索Cookie信息并将Cookie存储到文件中。注意获取个人主页的页面的时候,不要新建一个opener，而应该使用之前的那个opener，因为之前的那个opener已经包含了登录后所存储的Cookie信息。数据的网站很有用，这些数据由Web服务器的HTTP响应在客户端计算机上设置，然后在以后的HTTP请求中返回给服务器。.........
实战：模拟登录美食杰网站（http.cookiejar模块：用CookieJar来提供用于存储cookie的对象）
leedean的博客
03-01 341
CookieJar： 管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。 FileCookieJar (filename,delayload=None,policy=None)： 从CookieJar派生而来，用来创建FileCookieJar实例...
使用CookieJar提取cookie信息
m0_46900715的博客
03-31 993
使用CookieJar提取cookie信息
CookieJar和HTTPCookieProcessor
Widsom的博客
11-16 6225
CookieJar和HTTPCookieProcessor我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现。CookieJar类有一些子类，分别是FileCookieJar，MozillaCookieJar，LWPCookieJar。 CookieJar：管理HTTP cookie值、存
httpwebrequest 模拟登录 获取cookies 以前的代码,记录备忘!
weixin_30920513的博客
07-29 206
2个类,一个基类,一个构建头信息调用类 关于如何获取到post中的内容,你之需要用http抓包工具把你与目标网站的请求信息抓下来后,打开分析下按照抓下来的包中的数 据进行构建就行了using System; using System.Collections.Generic; using System.Text; using System.Net; using System...
cookie管理器（http.cookiejar）
pardon110的博客
05-19 882
http.cookiejar模块 urlopen() 既可发送 GET 请求，也可发送 POST、PUT、DELETE、PATCH 等请求 大部分时候，urllib.request 模块可代替 http.client 模块 应用场景 访问Web应用中被保护的资源 维护与服务器之间的 session，借助于 cookie 管理器来实现 通过cookie管理session 创建 http.c...
http.cookiejar模块
arik12777的博客
03-22 363
该模块主要的类有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。 CookieJar：管理HTTP cookie的值，存储cookie，向传出的HTTP请求添加cookie的对象。整个cookie都存在内存中，对cookie实例进行垃圾回收后，cookie也将丢失。 FileCookieJar(filename,delayload=No...
Python使用cookielib模块操作cookie的实例教程
09-21
本教程将介绍如何利用Python中的`cookielib`模块进行cookie管理，并通过一个具体的例子——模拟登录人人网来加深理解。 #### cookielib模块简介 `cookielib`模块是Python内置的一个用于处理HTTP cookies的库。它...
urllib库：网络请求，url编码，url分解，反爬虫(请求头、代理、cookie)
旧人小表弟的博客 - 无业游民学习笔记
09-24 1294
通常 网页请求、下载保存网页(图片)、参数编码、解码 会用到这个库 发送请求-保存网页文件(图片)：使用urllib下的request 导入urllib下的request库 from urllib import request urlopen()方法用法：发送请求 模拟访问网页 resp = request.urlopen('http://www.baidu.com') # 参数1是请求的url地址；参数data=是提交参数，默认None(get方式)，有参数就是post方式 获取返回信息： # 返.
详解在Python程序中使用Cookie的教程
09-22
Cookie是一种在客户端和服务器之间传递状态信息的方式，它能够帮助服务器识别和跟踪用户会话，比如在用户登录网站后保持其登录状态。在Python中，我们通常使用`urllib2`（在Python 3中为`urllib.request`）和`...
Python爬虫之模拟知乎登录的方法教程
python基础学习教程
05-27 2964
@本文来源于公众号：csdn2299，喜欢可以关注公众号 程序员学府 文章目录前言登录原理实战应用获取 xsrf获取验证码登录auto_login.py 示例代码 在爬虫过程中，有些页面在登录之前是被禁止抓取的，这个时候就需要模拟登陆了，下面这篇文章主要给大家介绍了利用Python爬虫模拟知乎登录的方法教程，文中介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。 前言 对于经常写爬虫的大家都知道，有些页面在登录之前是被禁止抓取的，比如知乎的话题页面就要求用户登录才能访问，而 “登录” 离不开 HTT
python爬虫之http.CookieJar库
qq_29983883的博客
04-13 1249
我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现，CookieJar类管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。 使用cook...
python：http.cookiejar —— HTTP 客户端的 Cookie 处理
点点关注不迷路
03-11 846
python：http.cookiejar —— HTTP 客户端的 Cookie 处理
爬虫笔记（10/1）--------http.cookiejar模块
ydmichelle的博客
10-01 726
http.cookiejar模块定义了以下类： 1.class http.cookiejar.CookieJar(policy=None) CookieJar对象有些方法如增加cookie header，extract cookie，参考文档。 2.class http.cookiejar.FileCookieJar(filename,delayload=None,policy=None)
python cookiejar_Python http.cookiejar模块：管理cookie
weixin_33331021的博客
12-23 578
通过前面章节的学习，使用 urlopen() 既可发送 GET 请求，也可发送 POST、PUT、DELETE、PATCH 等请求。因此，在绝大部分时候，完全可以使用 urllib.request 模块代替 http.client 模块。有时候，用户可能需要访问 Web 应用中的被保护页面，如果使用浏览器则十分简单，通过系统提供的登录页面登录系统，浏览器会负责维护与服务器之间的 session，如...
python cookiejar_如何添加一个cookie到cookiejar在python请求库
weixin_39744554的博客
12-23 302
I am trying to add a cookie to an existing cookiejar using the python requests 1.2.3 library. Every time I add the new cookie, the data in the jar is munged for the new cookie. Keys missing, Values ...
使用http.cookiejar带cookie信息登录爬取方法 -《狗嗨默示录》-
weixin_30526593的博客
08-18 146
Login.py # !/usr/bin/env python # -*- coding: utf-8 -*- import urllib.request import urllib.parse import user_info import http.cookiejar import re import time import socket cook...
cookiejar包_net/http/cookiejar
weixin_34861702的博客
02-06 592
import "net/http/cookiejar"概述索引示例概述Cookiejar包实现了符合内存RFC 6265的http.CookieJar。索引type Jarfunc New(o *Options) (*Jar, error)func (j *Jar) Cookies(u *url.URL) (cookies []*http.Cookie)func (j *Jar) SetCooki...
python的http.cookiejar模块的LWPCookieJar类的方法
最新发布
05-01
`LWPCookieJar` 类是 `http.cookiejar` 模块中的一个类，它实现了 cookie 的读取和保存，并且采用了 LWP 格式的文件存储。下面是 `LWPCookieJar` 类的方法： - `load(filename=None, ignore_discard=False, ignore_expires=False)`：从文件中读取 cookie。 - `save(filename=None, ignore_discard=False, ignore_expires=False)`：将 cookie 保存到文件中。 - `set_cookie(cookie)`：将一个 Cookie 对象添加到 CookieJar 中。 - `set_cookie_if_ok(cookie, request)`：如果请求满足 Cookie 的要求，则将 cookie 加入 CookieJar。 - `clear([domain=None, path=None, name=None])`：删除 CookieJar 中的 cookie。如果指定了 domain、path 或 name，则只删除匹配的 cookie。 - `clear_session_cookies()`：删除 session cookie。 - `as_lwp_str()`：以 LWP 格式的字符串返回 CookieJar 中所有的 cookie。 - `as_dict(domain=None, path=None)`：以字典的形式返回 domain 和 path 与给定值匹配的 cookie。 更多信息可以参考 Python 官方文档：https://docs.python.org/3/library/http.cookiejar.html#http.cookiejar.LWPCookieJar
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值