Python爬虫| 爬虫框架Scrapy的构架、工作原理及工作流程是怎样的？

**1、**Scrapy框架的介绍

Scrapy是一个基于Python的开源网络爬虫框架，是一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。它可以帮助开发者快速、高效地从网站上获取数据。

Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。

尽管Scrapy原本是设计用来屏幕抓取（更精确的说，是网络抓取），但它也可以用来访问API来提取数据。

2、Scrapy框架的基本原理

Scrapy框架的基本原理是通过发送HTTP请求获取网页内容，然后使用Xpath或CSS选择器等工具解析网页内容，最后新数据存储到数据库或文件中。

3、爬虫框架scrapy架构

scrapy框架的核心组件由五大组件引擎、调度器、下载器、爬虫、管道和中间件组成。

五大组件是调度器(Scheduler)，下载器(Downloader)，爬虫(Spider)，实体管道(Item Pipeline)，Scrapy引擎(Scrapy Fngine)。

3.1 Scrapy架构图