Scrapy简介

Scrapy简介

scrapy架构图：

• scrapy的主要部分：
  1、引擎，用来处理整个系统的数据流处理，触发事务。
  2、调度器，用来接收引擎发过来的请求，压入队列当中，在引擎再次请求的时候返回。
  3、下载器，用于下载网页内容，并将网页内容返回给蜘蛛。
  4、蜘蛛，主要干活的部分，用它来制订特定域名或网页的解析规则。
  5、项目管道，负责处理有蜘蛛由网页中抽取的项目，他的主要任务是清洗、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的顺序处理数据。
  6、下载器中间件，位于scrapy引擎和下载器之间的钩子框架，主要是处理scrapy引擎与下载器之间的请求及响应。
  7、蜘蛛中间件，介于scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。
  8、调度中间件，介于scrapy引擎和调度之间的中间件，从scrapy引擎发送到调度的请求和响应。
  使用scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不用自己费力的去开发。
  scrapy官网