一、Scrapy 框架流程介绍

Scrapy框架

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。

Scrapy使用了Twisted异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件借口，可以灵活地完成各种需求。

Scrapy架构图：（很重要，有助于理解爬虫原理）

各个组件的作用：

Scrapy运作流程：（很形象）

注意：只有当调度器中不存在任何request了，整个程序才会停止。（也就是说，对于下载失败的URL，Scrapy也会重新下载）