按照之前博客中所提到的asyncio和爬虫知识,我们来写一个基于asyncio的异步爬虫来爬取我自己搭的一个简单的flask框架,每个路由sleep两秒当作网络IO
import time
import asyncio
import requests
start = time.time()
urls = [
'http://127.0.0.1:5000/hello', 'http://127.0.0.1:5000/thanks', 'http://127.0.0.1:5000/world', 'http://127.0.0.1:5000/site'
]
async def get_page(url):
print('正在下载'</