在Scrapy爬虫项目中遇到HTTP 493状态码的问题，这通常是由于IP代理导致的目标网站阻止访问。虽然关闭代理可以解决，但在需要代理的场景下，决定保存所有遇到493状态码的URL。通过深入研究scrapy源代码，特别是`scrapy.spidermiddlewares.httperror`文件，找到了处理HTTP错误的地方，并添加代码捕获并保存493状态码响应的URL。
在scrapy爬虫过程中，遇到了这样一个问题：
[scrapy.spidermiddlewares.httperror] INFO: Ignoring response <493> HTTP status code is not handled or not allowed
我们翻译一下（百度翻译）：
忽略响应< 493 >不处理或不允许HTTP状态代码
经测试，该问题是源于IP代理的设置引起，目标网站可能有阻止代理IP访问的机制，只要关闭IP代理就能得到正确的响应（200）
但是在项目中又不得不使用IP代理，原因很多，例如有一些网站由于网络环境因素，直接爬取速度过慢，使用代理提高爬取速度等
于是只好把出现该问题的url全都保存下来
但是目标网址拒绝访问，连response都没有，怎么保存呢？
这时就需要研究scrapy源代码了
经过一下午的奋斗，终于找到了框架内部根据HTTP错误打印响应码的位置，是在scrapy.spidermiddlewares.httperror文件中
下面是进入该文件的方法
然后我们添加代码，只要是出现493的response，都把它的url取下来：
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
