上一节我们学习怎么去保存爬取的结果,然而大多数时候裸奔的请求很容易被网站反爬技术识别,导致并不能获取到我们想要的数据,我们该怎么做呢?中间件就可以帮你解决这些事
下载中间件(Downloader middlewares)
Scrapy框架中的中间件主要分两类:蜘蛛中间件
和下载中间件
。其中最重要的是下载中间件,反爬策略都是部署在下载中间件中的
蜘蛛中间件
是介入到Scrapy的spider处理机制的钩子框架,可以添加代码来处理发送给 Spiders 的response及spider产生的item和request。
- 当蜘蛛传递请求和items给引擎的过程中,蜘蛛中间件可以对其进行处理(过滤出 URL 长度比 URLLENGTH_LIMIT 的 request。)
- 当引擎传递响应给蜘蛛的过程中,蜘蛛中间件可以对响应进行过滤(例如过滤出所有失败(错误)的 HTTP response)
下载中间件
是处于引擎(Engine)和下载器(Downloader)之间的一层组件,可以有多个下载中间件被加载运行。
- 当引擎传递请求给下载器的过程中,下载中间件可以对请求进行处理 (例如增加http header信息,增加proxy信息等);
- 在下载器完成http请求,传递响应给引擎的过程中, 下载中间件可以对响应进行处理(例如进行gzip的解压等)
下载中间件三大函数
1. process_request(request, spider)
——主要函数
当每个request通过下载中间件时,该方法被调用
需要传入的参数为:
request (Request 对象) – 处理的request
spider (Spider 对象) – 该request对应的spider
process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或raise IgnoreRequest
- 如果其返回
None
:
Scrapy将继续处理该request,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler)被调用, 该request被执行(其response被下载)- 如果其返回
Response 对象
:
Scrapy将不会调用任何其他的process_request()或 process_exception()方法,或相应的下载函数。其将返回该response
,已安装的中间件的 process_response() 方法则会在每个response返回时被调用- 如果其返回
Request对象
:
Scrapy则会停止调用 process_request方法并重新调度返回的request
,也就是把request重新返回,进入调度器重新入队列- 如果其返回
raise IgnoreRequest异常
:
则安装的下载中间件的 process_exception()方法 会被调用。如果没有任何一个方法处理该异常, 则request的errback(Request.errback)
方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)
2. process_response(request, response, spider)
——主要函数