作用
Downloader Middleware在爬虫执行过程中起到了非常重要的作用,功能十分强大。
修改User-Agent,处理重定向,设置代理,失败重试,设置Cookie等功能都要借助它来实现。
流程
- Engine从Scheduler获取request发送给Downloader,在request被Engine发送给Download下载之前,Downloader Middleware可以对request进行修改
- Downloader执行request生成response,在response被Engine发送给Spider之前,Downloader Middleware可以对request进行修改
使用流程
需要说明的是,scrapy已经提供了跟多Downloader Middleware,比如负责失败重试,自动重定向等功能。
他们被DOWNLOADER_MIDDLEWARES_BASE变量所定义。
他们被scrapy默认开启,那么在Downloader Middleware里面是怎么实现的?
其实每个Downloader Middleware可以通过定义process_request和process_respons方法来分别处理request和response。
而被开启的Downloader Middleware的process_request和respons_request方法会根据优先级被顺次调用。
优先级越小的Downloader Middleware越靠近Engine,因此优先级越小的process_request越先被调用,而process_respons相反。
我们想要将自定义的Downloader Middleware添加到项目当中,只需要修改setting中的DOWNLOADER_MIDDLEWARES即可。
核心方法
在项目实战中,我们往往需要单独定义Downloader Middleware,只需要实现几个方法,并且在setting中配置DOWNLOADER_MIDDLEWARES即可。
- process_request(request,spider)
- process_response(request,response,spider)
- process_exception(request,exception,spider)
注意:
在上述方法中返回的对象只能是None,Respons,Request或者抛出IgnoreRequset异常
- 返回None时,按照优先级直到所以方法都被调用完毕
- 返回Request,更低优先级的process_exception不再被调用,该Request被重新放到调度队列中被等待调度,相当于一个全新的Request
- 返回Response,更低优先级的process_exception不再被调用,每个Downloader Middleware中的 process_response方法转而被依次调用