爬虫实战记录——重写Scrapy重试中间件解决重定向（正常状态码）的异常重试

有些网站在检测到爬虫时不会直接返回401之类的异常状态码，而是重新重定向到另一个页面，但我们并不能从重定向的页面中获取到数据，因此我们重写RetryMiddleware来解决这一问题，在被重定向时进行重试，以期在下次更换IP或header后可以正常访问。
首先我们需要大致了解一下scrapy.downloadermiddlewares.retry.RetryMiddleware的源代码，可以看一下这篇博客，写的蛮好的。他这篇文章下面评论区有一些问题，我也闲着没事去做了解答。

如果我们的页面被重定向，不论是用xpath还是正则表达式，在我们找不到数据时都会因为返回空列表出现IndexError的错误，所以我们只要在出现IndexError时重试就OK了。

打开middlewares.py, 创建自定义重试中间件，继承自scrapy.downloadermiddlewares.retry.RetryMiddleware。

from scrapy.downloadermiddlewares.retry import RetryMiddleware

class MyRetryMiddleware(RetryMiddleware):

    # 在Exception列表中添加IndexError覆盖原列表，从而在被重定向时重试
    EXCEPTIONS_TO_RETRY = (defer.TimeoutError, TimeoutError, DNSLookupError,
                           ConnectionRefusedError, ConnectionDone, ConnectError,
                           ConnectionLost, TCPTimedOutError, ResponseFailed,
                           IOError, TunnelError, IndexError)

打开settings.py，处理方法与前两篇文章相同，优先级的设置依然参考scrapy中间件文档。

DOWNLOADER_MIDDLEWARES = {
    # 关闭默认retry中间件，替换为自己的中间件
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
    '项目名.middlewares.MyRetryMiddleware': 550,
}