python 使用aiphttp-requests异步爬取网页

首先，安包aiohttp_requests

然后开始导包

import asyncio
import aiohttp
from aiohttp_requests import requests

先看一下官网的使用例程

>>> import asyncio
>>>
>>> import aiohttp
>>> from aiohttp_requests import requests
>>>
>>> async def main():
...     response = await requests.get('https://api.github.com/user', auth=aiohttp.BasicAuth('user', 'password'))
...     text = await response.text()
...     json = await response.json()
...     return response, text, json
...
>>> loop = asyncio.get_event_loop()
>>> r, text, json = loop.run_until_complete(main())
>>>
>>> r
<ClientResponse(https://api.github.com/user) [200 OK]>
>>> r.status
200
>>> r.headers['Content-Type']
'application/json; charset=utf-8'
>>> r.get_encoding()
'utf-8'
>>> text
'{"login":"...'
>>> json
{'login': 'user', 'public_repos': 28, ...}

需要注意的是，在requests模块中，响应对象的text是属性，而在这里是方法，同时使用的时候还需要在async函数体内，并且需要同await语句一起使用

当需要将一堆请求，异步发送时，可以使用asyncio.gather()，它能把传入的async函数再进行包装。使得可以异步发送，来个例子

import asyncio

async def count():
    print("One")
    await asyncio.sleep(1)
    print("Two")

async def main():
    await asyncio.gather(count(), count(), count())

asyncio.run(main())

"""
输出结果
One
One
One
Two
Two
Two
"""

可以看出，在执行第一个count时，被sleep阻塞后，立即让出了执行权，交由第二个函数的执行，依次类推。上例中，执行时间为1秒。