2021-09-28

在使用 Python 做爬虫的时候，我们需要伪装头部信息骗过网站的防爬策略，Python 中的第三方模块 fake_useragent 就很好的解决了这个问题，它将给我们返回一个随机封装了好的头部信息，我们直接使用即可。
但我在使用的过程中遇到了问题，无法返回一个我们需要的值，会报 fake-useragent Maximum amount of retries reached问题。网络上的解决方法大多是下面的代码：

ua = UserAgent(use_cache_server=False)
ua = UserAgent(cache=False)
ua = UserAgent(verify_ssl=False)

但我的报错上面方法无法解决！
经过网络上的查阅资料，fake_useragent模块主要是获取json，所以我们先尝试去直接通过浏览器获取json，根据模块的代码解读，我们找到了数据的json网址：
https://fake-useragent.herokuapp.com/browsers/0.1.11
但我的浏览器无法打开，我试着将https改成http，居然成功了，原因暂且不知。
http://fake-useragent.herokuapp.com/browsers/0.1.11
既然http可以成功访问，我们就需要去修改这个模块的源代码。
首先找到python的文件夹，在python文件夹下面找到Lib文件夹，在Lib文件夹内找到site-packages文件夹，在site-packages文件夹内找到fake_useragent文件夹，在该文件夹下用记事本打开settings.py文件，找到下面这段代码：

CACHE_SERVER = 'https://fake-useragent.herokuapp.com/browsers/{version}'.format(
    version=__version__,
)

将https修改成http，其他不变，保存修改后的文件。然后运行之前调用fake_useragent的python文件，成功输出结果。