python异步请求aiohttp_Aiohttp异步会话请求

所以我一直在抓取一个网站(www.cardsphere.com网站)使用session保护有请求的页面,如下所示:import requests

payload = {

'email': ,

'password':

}

with requests.Session() as request:

requests.get()

request.post(, data=payload)

request.get()

save-stuff-from-page1

request.get()

save-stuff-from-page2

.

.

.

request.get()

save-stuff-from-pageN

the-end

现在因为它有相当多的页面,我想用Aiohttp+asyncio来加速它……但是我遗漏了一些东西。我可以或多或少地使用它来删除不受保护的页面,如下所示:

^{pr2}$

这给出了一些结果,但是对于需要登录的页面,我该怎么做呢?我尝试在async函数中添加session.post(,data=payload),但显然效果不佳,它将继续登录。有没有办法在循环函数之前“设置”aiohttp ClientSession?因为我需要先登录,然后在同一个会话中,使用asyncia+aiohttp从一堆受保护的链接中获取数据?在

对于python还是个新手,async更是如此,这里我遗漏了一些关键概念。如果有人能为我指出正确的方向,我将不胜感激。在

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值