Python HTTP user_Agent 请求头

[引用] 狗子渣渣 https://www.jianshu.com/p/c5cf6a1967d1

查看请求信息，发现我们一般写的爬虫会默认告诉服务器自己发送了一个Python爬取请求，而一般网站是不允许被爬虫访问的，估计是因为会涉及到商业问题。最后，通过更改User-Agent字段就可以轻易骗过该网站。

那么User-Agent到底是什么呢？
User-Agent会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答。

又该如何使用呢？

调试工具
最简单的方法就是按照下面步骤进行

打开你要爬虫的网页
按键盘的F12或手动去浏览器右上角的“更多工具”选项选择开发者工具
按键盘的F5刷新网页
点击Network，再点击Doc
点击Headers，查看Request Headers的User-Agent字段，直接复制
将刚才复制的User-Agent字段构造成字典形式

什么？你想搞懂这个User-Agent字段，然后自己构建。

User-Agent字段解释
详细版解释：谈谈 UserAgent 字符串的规律和伪造方法

简要版解释：

我用的Chrome浏览器，查看User-Agent的结果：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3100.0 Safari/537.36
User-Agent通常格式：

Mozilla/5.0 (平台) 引擎版本 浏览器版本号

作者：狗子渣渣
链接：https://www.jianshu.com/p/c5cf6a1967d1
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。