asyncio.exceptions.TimeoutError 异步爬虫问题

一、原因

        1.出现这种问题的原因是因为当前在等待的任务量超过了默认的300条或者是你设置的数量：

        例如：

        timeout = ClientTimeout(total=600)

二、解决：

               直接将total设置为与你的爬取任务量一致即可

        

        timeout = ClientTimeout(total=len(data))

三、完整代码：

        

        timeout = ClientTimeout(total=len(params_list))
        clisession = aiohttp.ClientSession(connector=TCPConnector(ssl=False, limit=10, force_close=True), trust_env=True, timeout=timeout)
        async with clisession as session:
            task = [
                self.get_info(productModel=params_list[i], session=session) for i in
                range(len(params_list))
            ]
            await asyncio.gather(*task)

学习交流QQ：450297392