爬虫初阶（六）—— Scrapy框架（1）scrapy的基础概念

1. Scrapy框架是什么？

• Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要编写少量的代码，就能够快速的抓取数据，Scrapy 使用了 Twisted异步网络框架，可以加快我们的下载速度。
• 异步与非阻塞
  异步：调用在发出之后，这个调用就直接返回，不管有无结果。
  非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程。
  

2. Scrapy爬虫流程

最初我们使用的爬虫流程为：

它可以进一步表示为：

Scrapy为上图的演变形式，如下图：

各部分解释：