爬虫在爬到一半的时候报错connection error
菜鸟记录,以下都是网上搜罗的方法
爬虫遇到的问题:connection error :…Max retries exceeded with url:…Failed to establish a new connection:…
据说是访问太频繁导致的,或者ip被封
在此之前我已经有time.sleep
尝试一:关闭多余链接
get里面加上headers={‘Connection’:‘close’}...
原创
2020-04-03 12:33:12 ·
1697 阅读 ·
1 评论