如何获取不断变化的 User-Agent
推荐我的个人博客: blog.wuzhenyu.com.cn
User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。
比如,firefox 浏览器中的 user agent 可能为 Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0
,其他浏览器的 user agent 都是不一样的。那么如何随机更换 user agent 呢。
如果我们能获取到所有可能出现的 user agent,那么我们只需要随机从这些 user agent 列表中取一条就可以了。正好,有人已经帮我们实现了这个事情。在 github 上搜索 useragent,选择 fake-useragent,作者维护了一个可变的user agent 列表,地址为 https://fake-useragent.herokuapp.com/browsers/0.1.7
,这个地址是可以根据版本变化的,以前版本的链接可能已经无法访问。这里列出了所有作者维护的 user-agent(感谢作者和开源的贡献,给我们提供的方便)。那么,我们通过获取到这些 user-agent,然后随机的从这个列表中取 user-agent 就可以。
这当然是一种方法,但既然已经有了 fake-useragent,那么我们就不需要这么做了。大家也可以看帮助文档中的使用方法。
# 安装 fake-useragent
pip install fake-user