Python爬虫随机切换请求头

      大家都知道写爬虫的时候，在进行 request 请求的时候，多数情况下需要添加请求头，修改 User-Agent 来伪装浏览器，否则不会返回想要的数据

       今天在爬取某个正版小说网站时，requests请求一直返回403...<这网站贼恶心,反爬太多> 在反复检查过Host 、referer、cookie、验证码、IP等机制后发现没啥问题啊...

       会不会是UA的问题??? 不应该吧???我可是建立了UA池的,每次都随机携带的...

解决方案：

            调用一个库 fake-useragent

            安装：pip3 install fake_useragent

            引用：from fake_useragent import UserAgent

headers = {"User-Agent": UserAgent().chrome}

 

原来人家把我UA池的请求头给办了，结果就这样解决了......