下面是Scrapy架构图,包括组件以及在系统中发生的数据流的概览。
![](https://i-blog.csdnimg.cn/blog_migrate/cbcfc3972fdbb5f9f7362ef8536ac2cd.jpeg)
组件
Scrapy Engine
引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。
调度器Scheduler
调度器从引擎接受request并将它们入队,以便之后引擎请求他们时提供给引擎。
下载器Downloader
下载器负责获取页面数据并提供给引擎,而后提供给spider。
Spiders
Spider是用于分析response并提取Item和跟进URL的类。每个spider负责处理一个特定(或一些)网站。
Item Pipeline
负责处理被Spider提取出来的Item。典型的处理有清理,验证以及持久化(例如数据存储到数据库中)。
下载器中间件Downloader middlewares
下载器中间件是在引擎及下载器之间的特定钩子,处理Downloader传递给引擎的response。其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。
Spider中间件Spider middlewares
spider中间件是在引擎及Spider之间的特定钩子,处理Spider的输入(response)和输出(items和requests).
数据流 Data flow
Scrapy中的数据流由引擎控制,过程如下:
1、引擎打开一个网站,找到处理该网站的Spider,并向该spider请求第一个要爬取的URL。
2、引擎从Spider拿到第一个爬取的URL并在调度器Scheduler以request调度。
3、引擎向调度器请求下一个要爬取的URL。
4、调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求request方向)转发给下载器Downloader。
5、一旦页面下载完毕,下载器生成一个该页面的response,并通过下载中间件(返回response方向)发送给引擎。
6、引擎从下载器中接收到response并通过Spider中间件(输入方向)发送给Spider处理。
7、Spider处理response并返回爬取到的Item以及新的request给引擎。
8、引擎(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)request给调度器。
9、(从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。