python aiohttp cookie解析问题

最新推荐文章于 2024-05-11 08:02:56 发布
最新推荐文章于 2024-05-11 08:02:56 发布
阅读量4.9k 收藏 7
点赞数 4
分类专栏： python 文章标签： python cookie aiohttp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asdf54sdf/article/details/79548557
版权
在使用Python的aiohttp库进行网络爬虫并处理登录时，遇到Cookie无法正确保存的问题。通过检查发现，网站的Cookie键包含中括号，而aiohttp的Cookie解析器不支持这种格式，导致解析失败。解决方法是修改标准库代码以兼容非标准的Cookie键值。
摘要由CSDN通过智能技术生成

python aiohttp cookie解析问题

最近在做毕业设计，是关于网络爬虫的，并且是使用python3.6版本async/await式的协程进行网络下载的。其中要爬取的网站需要登录，也是使用cookie保持登录状态的，于是我像使用requests时一样，准备使用session来自动保存登录cookie，以便在后续使用这个session继续爬取数据，然后发现了问题

问题

无论如何，aiohttp.ClientSession就是无法获取到cookie，后续get数据也是提示未登录！于是开始逐步回溯寻找原因

回溯

  1. 首先，查看session.post(login_url, data={'username': 'username', 'password': 'password'})的返回信息，看看登录是否成功，发现返回的json数据显示登录成功

  2. 查看1中的response中的headers信息，是否包含应有的Set-Cookie字段。发现的确有，问题不再这里，继续深入……

  3. 查看aiohttp.ClientSession源码，发现cookie信息来自于每一次的http response中的cookie叠加，但是我第一次的post请求中返回的cookie就没有成功更新到session.cookie_jar中，而且能够在头部中看到Set-Cookie，说明cookie解析出错

  4. 查看源码，发现cookie解析使用了标准库中的类http.cookies.SimpleCookie

最低0.47元/天 解锁文章
水刃
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python获取cookie不完整_python异步中aiohttp获取不到正确的Set-cookies值？
weixin_39933336的博客
02-21 1243
展开全部python异步中aiohttp获取不到正确的Set-cookies值这几天学习了python的异步请求，想修改之前写的代码提高请62616964757a686964616fe78988e69d8331333433643739求效率，但遇到一个包含set-cookie返回的请求无法获取正确的cookie值原程序关键代码(单线程)(重点看print()输出内容)：def enter_stud...
【Python】request.session的cookie如何导入aiohttp._cookie_jar
慕雪华年的博客
01-29 1038
不得不说，这个问题的答案网上是真的无现成的，都得东平西凑，花了我差不多一个半小时才找到正确方法不过现在终于可以保存2fa用户的登录信息了，也算是bot的功能升级吧！
最全Python aiohttp 使用指南：快速入门教程(1)，互联网公司面试流程&面试技巧
最新发布
2401_84564025的博客
05-11 815
aiohttp 是一个基于异步 I/O 的 Web 框架，专注于提供高性能、低开销的异步 Web 服务。它允许我们同时处理大量并发请求，而不会阻塞程序执行。aiohttp 使用 Python 的 async/await 语法来实现异步编程，这使得编写异步代码更加直观和简洁。在传统的同步编程中，每个任务都是按照顺序依次执行的。如果一个任务需要等待一些耗时的操作（如网络请求或文件读取），那么整个程序将会被阻塞，导致其他任务无法执行。
python cookie
qiangyi1的博客
03-07 218
import urllib2 import CookieJar
aiohttp 异步http请求-11.ClientResponse 获取响应headers 和cookies
qq_27371025的博客
05-09 1719
前言 ClientResponse 获取接口返回的headers 和cookies 响应 headers 可以使用 ClientResponse.headers 查看服务器的响应 assert resp.headers == { 'ACCESS-CONTROL-ALLOW-ORIGIN': '*', 'CONTENT-TYPE': 'application/json', 'DATE': 'Tue, 15 Jul 2014 16:49:51 GMT', 'SERVER': 'g
aiohttp 异步http请求-10.ClientSession自定义请求Cookie
qq_27371025的博客
04-26 1859
前言 要将自己的 cookie 发送到服务器，可以使用构造函数的cookies 参数ClientSession 自定义cookie cookie 定义成字典键值对格式，传参到ClientSession url = 'http://httpbin.org/cookies' cookies = {'cookies_are': 'working'} async with ClientSession(cookies=cookies) as session: async with session.get(ur
Python库 | aiohttp-0.15.1.tar.gz
02-28
《Python库深度解析：aiohttp-0.15.1》 在Python的世界里，库扮演着至关重要的角色，它们极大地丰富了Python的功能并提高了开发效率。本文将聚焦于一个名为aiohttp的Python库，详细探讨其0.15.1版本的功能、用法...
Python库 | aiohttp_index-0.1-py3-none-any.whl
03-14
`aiohttp_index`是一个Python库，专为使用Python 3的异步I/O模型设计。在Python的世界中，`aiohttp`是一个强大的库，用于处理HTTP客户端和服务器的异步操作。它基于Python的`asyncio`库，允许开发者在单个线程中同时...
京东抢茅台Python脚本
04-01
2. **JSON解析**：京东平台的接口通常会返回JSON格式的数据，Python内置的`json`库可以用于解析这些数据，提取出如商品库存、抢购时间等关键信息。 3. **定时任务**：为了在特定时间（如抢购开始时）执行脚本，可能...
python抓取淘宝天猫网页商品详情Demo.zip
06-02
通过学习和实践这个"python抓取淘宝天猫网页商品详情Demo"，你可以深入了解Python爬虫的基本流程，理解如何处理网页数据，以及如何应对网络爬虫可能遇到的实际问题。这对于进一步开发更复杂的爬虫项目或是进行数据...
python爬虫大合集
03-01
Python爬虫大合集是一个全面介绍Python网络爬虫技术的资源集合，主要涵盖了使用Python进行网页数据抓取、解析和存储的各种方法和技术。这个压缩包可能包含一系列的代码示例、教程文档或项目实例，旨在帮助初学者快速...
python aiohttp的使用详解
05-06 3142
python aiohttp的使用详解 转载自：https://www.jb51.net/article/163537.htm 更新时间：2019年06月20日 14:56:16 作者：山上有风景 这篇文章主要介绍了python aiohttp的使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 1.aio...
aiohttp异常: http.cookies.CookieError: Illegal key ‘aaa[bbb]‘
key_ls的博客
07-12 453
aiohttp异常
aiohttp模块
weixin_54279427的博客
08-04 875
aiohttp是python基于异步的网络请求第三方模块，而requests是基于同步的，所以要写出异步爬虫，必须熟悉aiohttp模块
python post cookies_使用Python POST任意的HTTP数据以及使用Cookie
weixin_39581896的博客
12-15 244
如果不使用Cookie, 发送HTTP POST非常简单:importurllib2,urllibdata={'name':'www','password':'123456'}f=urllib2.urlopen(url='http://www.ideawu.net/',data=urllib.urlencode(data))printf.read(当使...
接口自动化测试框架开发 (pytest+allure+aiohttp+ 用例自动生成)
weixin_34133829的博客
11-24 1067
2019独角兽企业重金招聘Python工程师标准>>> ...
掌握异步网络编程利器：Python aiohttp使用教程及代码示例
Rocky006的博客
12-15 2366
Python aiohttp是一个强大的异步HTTP客户端/服务器框架，它提供了一种简单且高效的方式来处理网络请求和响应。本文将详细介绍aiohttp的使用教程，并提供丰富的代码示例，帮助读者快速掌握该框架的使用方法。
python aiohttp_python aiohttp的使用详解
weixin_39581945的博客
12-08 867
1.aiohttp的简单使用(配合asyncio模块)import asyncio,aiohttpasync def fetch_async(url):print(url)async with aiohttp.request("GET",url) as r:reponse = await r.text(encoding="utf-8")　　#或者直接await r.read()不编码，直接读取，适...
Python异步网络编程利器——详解aiohttp的使用教程
Saki_Python的博客
11-02 1615
一、引言在现代Web应用程序开发中，网络请求是非常常见的操作。然而，传统的同步网络请求方式在处理大量请求时会导致性能瓶颈。为了解决这个问题，Python提供了aiohttp库，它是一个基于异步IO的网络请求库，可以实现高效的并发网络请求。本文将详细介绍aiohttp的各种使用方法，帮助你更好地理解和使用这个强大的工具。二、安装和导入在开始使用aiohttp之前，我们需要先安装它。三、发起GET请求使用aiohttp发起GET请求非常简单。
python aiohttp 将cookie 转换为字典类型
05-30
可以使用aiohttp库中的http.cookies模块将cookie转换为字典类型。示例代码如下： ```python import aiohttp from http.cookies import SimpleCookie async def get_cookies(url): async with aiohttp.ClientSession() as session: async with session.get(url) as response: cookie_jar = response.cookies cookies = SimpleCookie() cookies.load(cookie_jar.output(header='', sep=';')) cookie_dict = {} for key, morsel in cookies.items(): cookie_dict[key] = morsel.value return cookie_dict ``` 在这个例子中，我们使用`aiohttp.ClientSession`发送GET请求，并从响应中获取cookie。然后使用`http.cookies.SimpleCookie`将cookie字符串转换为一个简单的cookie对象。最后，我们遍历cookie对象并将其转换为字典类型。 使用示例： ```python import asyncio async def main(): url = 'https://example.com' cookies = await get_cookies(url) print(cookies) # 输出cookie字典 loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 这个例子中，我们定义了一个异步函数`main`，在其中调用`get_cookies`函数，获取cookie字典并输出。运行这个示例代码，你应该可以看到输出的cookie字典。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值