理想技术国

原创 scrapy 处理302和404

问题背景爬取网页的时候，我们有时会不知道网页的页码范围，如果超出了范围就会被重定向（302）有时候我们会在意爬取数据的完整性，所以我们需要在页面获取失败时重爬（如404）解决方案302问题在scrapy.Request()方法中有meta参数，通过这个参数我们可以对爬虫请求的行为进行进一步定制,详见官方文档的说明scrapy对于302的默认行为是再次请求重定向后的地址并返回，在我遇...