Aioscpy
基于asyncio及aio全家桶, 使用scrapy框架流程及标准的一个异步爬虫框架
概述
Aioscpy框架基于开源项目Scrapy & scrapy_redis。
Aioscpy是一个快速的高级web爬行和web抓取框架,用于抓取网站并从其页面提取结构化数据。
实现了动态变量注入和异步协程功能。
分布式爬行和抓取。
需求
- Python 3.7+
- Works on Linux, Windows, macOS, BSD
用法
创建项目爬虫:
aioscpy startproject project_quotes
cd project_quotes
aioscpy genspider quotes
quotes.py:
from aioscpy.spider import Spider
class QuotesSpider(Spider):
name = 'quotes'
custom_settings = {
"SPIDER_IDLE": False
}
start_urls = [
'https://quotes.toscrape.com/tag/humor/',
]
async def parse(self, response):
for quote in response.css('div.quote'):
yield {
'author': quote.xpath('span/small/text()').