scrapy_Downloader Middleware

作用

Downloader Middleware在爬虫执行过程中起到了非常重要的作用,功能十分强大。

修改User-Agent,处理重定向,设置代理,失败重试,设置Cookie等功能都要借助它来实现。

流程

• Engine从Scheduler获取request发送给Downloader,在request被Engine发送给Download下载之前,Downloader Middleware可以对request进行修改
• Downloader执行request生成response,在response被Engine发送给Spider之前,Downloader Middleware可以对request进行修改

使用流程

需要说明的是,scrapy已经提供了跟多Downloader Middleware,比如负责失败重试,自动重定向等功能。

他们被DOWNLOADER_MIDDLEWARES_BASE变量所定义。

他们被scrapy默认开启,那么在Downloader Middleware里面是怎么实现的?

其实每个Downloader Middleware可以通过定义process_request和process_respons方法来分别处理request和response。

而被开启的Downloader Middleware的process_request和respons_request方法会根据优先级被顺次调用。

优先级越小的Downloader Middleware越靠近Engine,因此优先级越小的process_request越先被调用,而process_respons相反。

我们想要将自定义的Downloader Middleware添加到项目当中,只需要修改setting中的DOWNLOADER_MIDDLEWARES即可。

核心方法

在项目实战中,我们往往需要单独定义Downloader Middleware,只需要实现几个方法,并且在setting中配置DOWNLOADER_MIDDLEWARES即可。

• process_request(request,spider)
• process_response(request,response,spider)
• process_exception(request,exception,spider)

注意:
在上述方法中返回的对象只能是None,Respons,Request或者抛出IgnoreRequset异常

• 返回None时,按照优先级直到所以方法都被调用完毕
• 返回Request,更低优先级的process_exception不再被调用,该Request被重新放到调度队列中被等待调度,相当于一个全新的Request
• 返回Response,更低优先级的process_exception不再被调用,每个Downloader Middleware中的 process_response方法转而被依次调用

项目实战