requests设置代理可以,scrapy设置代理就超时 问题记录
今天被自己坑了一把,我爬下来的免费代理 ip。明明用requests设置proxies,返回就200。用scrapy设置代理就一直报连接超时的问题(不能用的那种)。scrapy的代理设置木有问题(网上一堆教程)
如上图,测试之后发现 都是过!!。但是在scrapy中就报错。我之后才发现原来requests的proxies会做判断,根据访问的url的类型来决定用那个代理。因为我url是http...
原创
2019-04-28 18:43:11 ·
4785 阅读 ·
2 评论