aioscpy - 基于asyncio及aio全家桶, 使用scrapy框架流程及标准的一个异步协程爬虫框架

Aioscpy

基于asyncio及aio全家桶, 使用scrapy框架流程及标准的一个异步爬虫框架

概述

Aioscpy框架基于开源项目Scrapy & scrapy_redis。

Aioscpy是一个快速的高级web爬行和web抓取框架，用于抓取网站并从其页面提取结构化数据。

实现了动态变量注入和异步协程功能。

分布式爬行和抓取。

需求

• Python 3.7+
• Works on Linux, Windows, macOS, BSD

用法

创建项目爬虫:

aioscpy startproject project_quotes

cd project_quotes
aioscpy genspider quotes 

quotes.py:

from aioscpy.spider import Spider


class QuotesSpider(Spider):
    name = 'quotes'
    custom_settings = {
   
        "SPIDER_IDLE": False
    }
    start_urls = [
        'https://quotes.toscrape.com/tag/humor/',
    ]

    async def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
   
                'author': quote.xpath('span/small/text()').