python爬虫之异步asyncio框架

需要指出的是，爬虫里面的requests是一个不支持异步的模块，而需要用到异步爬虫的话，可以使用aiohttp + asyncio 的方法。

import asyncio
import time
import aiohttp
from lxml import etree

# 假设将目标网站放入到待爬取的列表中
urls = ['https://www.qiushibaike.com/',
        'https://www.qiushibaike.com/8hr/page/2/']


# async def + 函数名，类似于一个特殊的函数
async def get_request