重写scrapy中间件之RetryMiddleware

重写scrapy中间件RetryMiddleware

在爬取得过程中难免会遇到各种错误，如timeout或者404。而且在用ip代理池时，不是所有的代理都是稳定的，所以对于失败的代理我们需要做一些处理，例如删除操作。而由于不稳定代理引起的请求我们需要重新发起。这时候就有必要重写RetryMiddleware，来实现一些自己想要的操作。

• 理解RetryMiddleware源码
• 重写RetryMiddleware

RetryMiddleware部分源码

class RetryMiddleware(object):

    # 当遇到以下Exception时进行重试
    EXCEPTIONS_TO_RETRY = (defer.TimeoutError, TimeoutError, DNSLookupError, ConnectionRefusedError, ConnectionDone, ConnectError, ConnectionLost, TCPTimedOutError, ResponseFailed, IOError, TunnelError)

    def __init__(self, settings):
        '''
        这里涉及到了settings.py文件中的几个量
        RETRY_ENABLED: 用于开启中间件，默认为TRUE
        RETRY_TIMES: 重试次数, 默认为2
        RETRY_HTTP_CODES: 遇到哪些返回状态码需要重试, 一个列表，默认为[500, 503, 504, 400, 408]
        RETRY_PRIORITY_ADJUST：调整相对于原始请求的重试请求优先级，默认为-1