先附一张图, 了解一下思路:
红线是原本的路线, 紫色是修改后的路线.
在文件中, 自定义一个中间件.
class CustomMiddleware(object):
process_request
(request, spider)
-
当每个request通过下载中间件时,该方法被调用。
process_request()
必须返回其中之一: 返回None
、返回一个Response
对象、返回一个Request
对象或raiseIgnoreRequest
。如果其返回
None
,Scrapy将继续处理该request,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler)被调用, 该request被执行(其response被下载)。如果其返回
Response
对象,Scrapy将不会调用 任何 其他的process_request()
或process_exception()
方法,或相应地下载函数; 其将返回该response。 已安装的中间件的process_response()
方法则会在每个response返回时被调用。如果其返回
Request
对象,Scrapy则停止调用 process_request方法并重新调度返回的request。当新返回的request被执行后, 相应地中间件链将会根据下载的response被调用。如果其raise一个
IgnoreRequest
异常,则安装的下载中间件的process_exception()
方法会被调用。如果没有任何一个方法处理该异常, 则request的errback(Request.errback
)方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)。参数:
process_response
(request, response, spider)
process_request()
必须返回以下之一: 返回一个 Response
对象、 返回一个 Request
对象或raise一个 IgnoreRequest
异常。
如果其返回一个 Response
(可以与传入的response相同,也可以是全新的对象), 该response会被在链中的其他中间件的 process_response()
方法处理。
如果其返回一个 Request
对象,则中间件链停止, 返回的request会被重新调度下载。处理类似于 process_request()
返回request所做的那样。
如果其抛出一个 IgnoreRequest
异常,则调用request的errback(Request.errback
)。 如果没有代码处理抛出的异常,则该异常被忽略且不记录(不同于其他异常那样)。
参数: |
---|
-
当下载处理器(download handler)或
process_request()
(下载中间件)抛出异常(包括IgnoreRequest
异常)时, Scrapy调用process_exception()
。process_exception()
应该返回以下之一: 返回None
、 一个Response
对象、或者一个Request
对象。如果其返回
None
,Scrapy将会继续处理该异常,接着调用已安装的其他中间件的process_exception()
方法,直到所有中间件都被调用完毕,则调用默认的异常处理。如果其返回一个
Response
对象,则已安装的中间件链的process_response()
方法被调用。Scrapy将不会调用任何其他中间件的process_exception()
方法。如果其返回一个
Request
对象, 则返回的request将会被重新调用下载。这将停止中间件的process_exception()
方法执行,就如返回一个response的那样。参数:
process_exception
(request, exception, spider)
链接地址: 点击打开链接
简述:
自定义下载器中间件需要
1. 重写一个类
class CustomMiddleware(object):
2. def process_request(self, request, spider):
必须返回一个值None, Response, Request,IgnoreRequest
建议返回response
return response
3. def process_response(self, request, response, spider):
必须返回一值 Response, Request, IgnoreRequest
建议返回response
return response
4. def process_exception(self, request, exception, spider):
必须返回一个值 Response, Request, None
建议不要写这个函数, 或者直接pass
5. 最后在settings.py文件的DOWNLOADER_MIDDLEWARES = {
'项目名称.middlewares.CustomMiddleware': 1
}
6. 完成整个操作