requests 可以 scrapy 不行_python爬虫框架scrapy组件介绍，找工作必不可少的技能

scrapy

欢迎点击右上角关注小编。私信学习资料不仅获取学习资料，在学习中遇到的问题也可以咨询我。

出去找工作，scrapy框架是必不可少的。在学习之前，我们先了解一下什么是框架。

框架介绍

框架其实就是一个架子。以scrapy为例，它由引擎(Engine)、调度器(Scheduler)、下载器(Downloader)、爬虫(Spiders)、管道(Item Pipeline)、下载器中间件(Downloader middlewares)、Spider中间件(Spider middlewares)构成。每一个组建都有自己的作用，全部组合在一起就构成了scrapy框架。

在具体的学习scrapy之前，我们先对scrapy的架构做一个简单的了解，之后所有的内容都是基于此架构实现的，在初学阶段只需要简单的了解即可，之后的学习中，你会对此架构有更深的理解。

下面是scrapy官网给出的最新的架构图示。

scrapy组件介绍

如果你能把上图给彻底理解了，那么你就可以说你精通爬虫了。上图就展示了scrapy框架的精髓，接下来我给你们介绍一下各个组件的作用。

基本组件

引擎(Engine)

• 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。

调度器(Scheduler)

• 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

下载器(Downloader)

• 下载器负责获取页面数据并提供给引擎，而后提供给spider。

爬虫(Spiders)

• Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。

管道(Item Pipeline)

• Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化(例如存取到数据库中)。

下载器中间件(Downloader middlewares)

• 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

Spider中间件(Spider middlewares)

• Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

数据流向

Scrapy的数据流由执行引擎(Engine)控制，其基本过程如下：

1. 引擎从Spider中获取到初始Requests。
2. 引擎将该Requests放入调度器，并请求下一个要爬取的Requests。
3. 调度器返回下一个要爬取的Requests给引擎
4. 引擎将Requests通过下载器中间件转发给下载器(Downloader)。
5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8. 引擎将(Spider返回的)爬取到的Item交给ItemPipeline处理，将(Spider返回的)Request交给调度器，并请求下一个Requests(如果存在的话)。
9. (从第一步)重复直到调度器中没有更多地Request。

总结

Scrapy的各个组件相互配合执行，有的组件负责任务的调度，有的组件负责任务的下载，有的组件负责数据的清洗保存，各组件分工明确。在组件之间存在middleware的中间件，其作用就是功能的拓展，当然还可以根据自身的需求自定义这些拓展功能，比如我们可以在Downloader middlewares(下载中间件)里面可以轻易实现User-Agent(请求头)、Proxy(代理)、cookie、selenium等等功能的拓展。以及在Item Pipeline中对数据进行清洗然后再存入mysql、redis、MongoDB等数据库或者是发送到远程服务器，支持ssh、ftp等协议。其他组件也有非常多的功能，我这里就不一一做介绍了。这些功能我们只需要大致的了解即可，等到需要时再去练习才能掌握的更好。