场景
在写爬虫,在网站没有限制ip的时候有的根据ua来判断,在用到代理的时候最后再随机ua那么基本就很难查出是谁了,我是用的是fake-userage,今天运行程序的时候出现的问题,记录一下。
问题
之前有用过,没有问题,今天突然报错,截图如下
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
提示超出了最大重新连接次数,证明之前的链接是错误的,找了问了发现是超时了,网络不稳定
解决方案
既然网络不好,思路是改为静态就在网上找了静态useragent的json问题,具体地址
https://fake-useragent.herokuapp.com/browsers/0.1.11
就是下面这一堆
给他下载下来,然后放到一个文件里面,在使用的时候指定路径,就可以了。如下图
到此,问题解决了。