本文介绍了如何在Scrapy中获取和设置不断变化的User-Agent以应对反爬策略，推荐使用fake-useragent库，并讲解了在Scrapy的downloader middleware中实现随机User-Agent的方法。同时，文章还提及了如何在Scrapy中设置代理，建议通过获取西刺网等平台的代理数据并随机使用来提高爬虫的隐蔽性。
如何获取不断变化的 User-Agent
推荐我的个人博客: blog.wuzhenyu.com.cn
User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。
比如，firefox 浏览器中的 user agent 可能为 Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0，其他浏览器的 user agent 都是不一样的。那么如何随机更换 user agent 呢。
如果我们能获取到所有可能出现的 user agent，那么我们只需要随机从这些 user agent 列表中取一条就可以了。正好，有人已经帮我们实现了这个事情。在 github 上搜索 useragent，选择 fake-useragent，作者维护了一个可变的user agent 列表，地址为 https://fake-useragent.herokuapp.com/browsers/0.1.7，这个地址是可以根据版本变化的，以前版本的链接可能已经无法访问。这里列出了所有作者维护的 user-agent(感谢作者和开源的贡献，给我们提供的方便)。那么，我们通过获取到这些 user-agent，然后随机的从这个列表中取 user-agent 就可以。
这当然是一种方法，但既然已经有了 fake-useragent，那么我们就不需要这么做了。大家也可以看帮助文档中的使用方法。
# 安装 fake-useragent
pip install fake-user
最低0.47元/天 解锁文章
466
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
