在使用 Python 做爬虫的时候,我们需要伪装头部信息骗过网站的防爬策略,需要设置请求头。而在请求头中,随机更换User-Agent
可以避免触发相应的反爬机制。Python 中的第三方模块 fake_useragent 就很好的解决了这个问题,它将给我们返回一个随机封装了好的头部信息,我们直接使用即可。
以下简单介绍fake-useragent的安装使用,以及可能出现的问题和解决方法。
安装
pip install fake-useragent
使用
当我们需要使用随机User-Agent
时,只需通过ua.random
即可获取。代码如下:
import fake_useragent
# 实例化 user-agent 对象
ua = fake_useragent.UserAgent()
print(ua.chrome)
感谢你的耐心阅读。更多精彩内容请关注公众号:笔记分享社。