scrapy 处理302和404

问题背景

1. 爬取网页的时候，我们有时会不知道网页的页码范围，如果超出了范围就会被重定向（302）
2. 有时候我们会在意爬取数据的完整性，所以我们需要在页面获取失败时重爬（如404）

解决方案

302问题

在scrapy.Request()方法中有meta参数，通过这个参数我们可以对爬虫请求的行为进行进一步定制,详见官方文档的说明

scrapy对于302的默认行为是再次请求重定向后的地址并返回，在我遇到的情况中，重定向后会回到第一页，然而这是已经爬取过的数据了，因此我们不需要重定向：

scrapy.Request(url, 
	meta={
		'dont_redirect': True,
		'handle_httpstatus_list': [302]
		}
)

这样scrapy再遇到302后就不会再次请求，而是返回包含302状态码的Response，然后我们只要在出现302的页面不爬取就行了：

def parse(self, response):
        if response.status == 302:
            return

404问题

scrapy中有一个retry中间件，但是默认它不会对404重试，
我们需要修改SETTING使得它能够支持404的重试：

RETRY_TIMES = 3
RETRY_HTTP_CODECS = [500, 502, 503, 504, 408, 404]

总结

scrapy功能十分强大，只有能够对其内部逻辑和组建功能更深了解，才能更好的驾驭