概述
本文主要介绍scrapy架构图、组建、工作流程,以及结合selenium boss直聘爬虫案例分析
架构图
组件
Scrapy 引擎(Engine)
引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件.
调度器(Scheduler)
调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎.
下载器(Downloader)
下载器负责获取页面数据并提供给引擎,而后提供给spider.
Spiders
-
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类. 每个spider负责处理一个特定(或一些)网站,我们前面几篇文章中,通过Scrapy框架实现的爬虫例子都是在Spiders这个组件中实现. 更多内容请看 Spiders .
下载器中间件(Downloader Middlewares)
-
下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的response. 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能.更多内容请看 Downloader Middleware .
Spider中间件(Spider Middlewares)
-
Spider中间件是在引擎及Spider之间的特定钩子(specific hook),处理spider的输入(response)和输出(items及requests). 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能
管道(Item Pipeline)
-
Item Pipeline负责处理被spider提取出来的item.典型的处理有清理、 验证及持久化(例如存取到数据库中). 更多内容查看 Item Pipeline .
工作流程
Scrapy中的数据流由执行引擎控制,其过程如下:
- 引擎从Spiders中获取到最初的要爬取的请求(Requests).
- 引擎安排请求(Requests)到调度器中,并向调度器请求下一个要爬取的请求(Requests).
- 调度器返回下一个要爬取的请求(Requests)给引擎.
- 引擎将上步中得到的请求(Requests)通过下载器中间件(Downloader Middlewares)发送给下载器(Downloader ),这个过程中下载器中间件(Downloader Middlewares)中的process_request()函数会被调用到.
- 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(Downloader Middlewares)发送给引擎,这个过程中下载器中间件(Downloader Middlewares)中的process_response()函数会被调用到.
- 引擎从下载器中得到上步中的Response并通过Spider中间件(Spider Middlewares)发送给Spider处理,这个过程中Spider中间件(Spider Mi