所以我一直在抓取一个网站(www.cardsphere.com网站)使用session保护有请求的页面,如下所示:import requests
payload = {
'email': ,
'password':
}
with requests.Session() as request:
requests.get()
request.post(, data=payload)
request.get()
save-stuff-from-page1
request.get()
save-stuff-from-page2
.
.
.
request.get()
save-stuff-from-pageN
the-end
现在因为它有相当多的页面,我想用Aiohttp+asyncio来加速它……但是我遗漏了一些东西。我可以或多或少地使用它来删除不受保护的页面,如下所示:
^{pr2}$
这给出了一些结果,但是对于需要登录的页面,我该怎么做呢?我尝试在async函数中添加session.post(,data=payload),但显然效果不佳,它将继续登录。有没有办法在循环函数之前“设置”aiohttp ClientSession?因为我需要先登录,然后在同一个会话中,使用asyncia+aiohttp从一堆受保护的链接中获取数据?在
对于python还是个新手,async更是如此,这里我遗漏了一些关键概念。如果有人能为我指出正确的方向,我将不胜感激。在