最新Python3使用fake-useragent库失败,有效解决方法

最新Python3使用fake-useragent库失败,有效解决方法

作者初学python爬虫,断断续续学了很多次,都是因为很多库的安装下载失败以及错误的使用,导致每次均半途而废,因此想着把自己的学习过程记录下来,也许这其中遇到的一些问题也是很多人遇到的问题,以此作为压力与动力,推动自己学习python爬虫。
fake-useragent库会用的不必多说,而对于新手来说,可以省去一长句user-agent或者说是header的代码,其内含常见的user-agent,通过UserAgent()方法可以随机生成一个user-agent,准确地说是随机选择一个。多说无益,直接上代码。

代码及错误信息

以下便是关于fake-useragent库基本使用方式,直接调用。

// 直接调用UserAgent方法
from fake_useragent import UserAgent
ua = UserAgent()

错误信息:
pycharm报错信息

解决方法一

这是fake-useragent官方文档中提到的解决方案。
首先要确保你的fake-useragent是最新的版本,可以通过下面的代码查看自己的版本信息。0.1.11是2018年发布的,确实是最新的版本(截至2021年7月17日)

// 查看自己当前fake-useragent版本信息
import fake_useragent
print(fake_useragent.VERSION)

查看版本信息

如果显示的是其他版本,应该尝试更新。

// 更新fake-useragent至最新版本
pip install -U fake-useragent

解决方法二

下载fake_useragent.json文件,将其保存至相应python项目的目录下。使用如下代码便可正确使用fake_useragent库中的UserAgent()方法。

// 解决方法
from fake_useragent import UserAgent
import os
location = os.getcwd() + '/fake_useragent.json'
ua = UserAgent(path=location)

相应的fake_useragent.json文件可到GitHub上下载。

其他

在搜索引擎搜索相应的解决方案,看到的几乎都是下面的几种。

// 常见的“解决方案”
ua = UserAgent(cache=False)
ua = UserAgent(use_cache_server=False)
ua = UserAgent(verify_ssl=False)

通过查看官方文档,了解到第一种方案是对应于不想缓存数据库信息或者没有可写的文件时的情景;第二种对应于需要禁用服务器缓存;第三种是用于忽略ssl请求。
这三种方案可能并不适用于解决FakeUserAgentError: Maximum amount of retries reached问题,至少对于作者本人来说这三种方案并没能解决问题。

如果是linux系统,可以下面的代码直接下载相应的json文件,但由于是国外的网站,因此需要设置国外代理。

// 使用wget获取fake-useragentjson文件
wget https://fake-useragent.herokuapp.com/browsers/0.1.11
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值