01-scrapy的概念和流程

1、什么是scrapy？

文档地址：https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。

2、异步和非阻塞的区别

前面我们说Twisted是一个异步的网络框架，经常我们也听到一个词语叫做非阻塞，那么他们有什么区别呢？

异步：调用在发出之后，这个调用就直接返回，不管有无结果；异步是过程。
非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程

3、scrapy的工作流程

引擎(engine)：负责数据和信号在不同模块间的传递
调度器(scheduler)：实现一个队列，存放引擎发过来的request请求对象 ，并在引擎再次请求的时候返回
下载器(downloader)：发送引擎发过来的request请求，获取响应，并将响应交给引擎，通过引擎再发送给爬虫
爬虫(spider)：处理引擎发过来的response，提取数据或url，并交给引擎，每个spider负责处理一个特定(或一些)网站
管道(pipeline)：负责处理由爬虫从网页中爬取的数据，他的主要任务是清洗、验证和存储数据。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据，管道可以有的很多个

下载中间件(downloader middleware)：位于Scrapy引擎和下载器之间，主要是处理Scrapy引擎与下载器之间的请求及响应，可以自定义的下载扩展，比如设置代理ip ，一般使用设个比较多。
爬虫中间件(spider middleware)：介于Scrapy引擎和爬虫之间，主要工作是处理爬虫的响应输入和请求输出，可以自定义request请求和进行response过滤
调度中间件(SchedulerMiddlewares)：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

注意：

• 图中绿色线条的表示数据的传递
• 注意图中中间件的位置，决定了其作用
• 注意其中引擎的位置，所有的模块之前相互独立，只和引擎进行交互

其流程可以描述如下：

1. 调度器把requests–>引擎–>下载中间件—>下载器
2. 下载器发送请求，获取响应---->下载中间件---->引擎—>爬虫中间件—>爬虫
3. 爬虫提取url地址，组装成request对象---->爬虫中间件—>引擎—>调度器
4. 爬虫提取数据—>引擎—>管道
5. 管道进行数据的处理和保存

整体流程是：

首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载之后会交给Spider进行分析，

Spider分析出来的结果有两种：

一种是需要进一步抓取的链接，例如“下一页”的链接，这些东西会被传回Scheduler继续循环；

另一种是需要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。

另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。

scrapy中每个模块的具体作用