UserAgent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号,在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制。
fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反扒利器。下面将介绍fake-useragent的安装到使用。
安装
pip install fake-useragent
在运行 python 脚本的时候 报错
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
原因是: fake_useragent中存储的UserAgent列表发生了变动,而本地UserAgent的列表未更新所导致的,在更新fake_useragent后报错就消失了。
于是我尝试了网上千篇一律的 pip install -U fake-useragent , 结果还是报错 (你可以试下, 可能对你有用)
pip install -U fake-useragent
后来我尝试了就可以了, 希望可以帮助到你
from fake_useragent import UserAgent
ua = UserAgent(verify_ssl=False)