前言
题目具体分析,可以查看文章Glidedsky系列—爬虫基础
提示
async def func(url):
async with aiohttp.ClientSession() as session:
async with await session.get(url=url,headers=headers) as response:
data = await response.read()
注意当任务量较多时,以上写法会报错,提示信号灯超时时间已到,这是因为我们每个请求都创建了一个session,当请求过多时,就会报错,我们这时候就要使session复用,让每个请求使用同一个session,代码可以参考下面
import time
import aiohttp
impor