【爬虫知识】为什么一般爬虫程序需要设置User-Agent呢

User-Agent介绍

什么是UA

如果你通过百度搜索的话，会发现它是这样介绍User-Agent的，以下内容摘抄自百科

User-Agent一般指用户代理，用户代理（User Agent，简称 UA），是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

用户代理这个名字听起来可能不是太好理解，其实简单通俗的来说，user-agent就是用户身份标识。当你使用浏览器访问页面的时候，对方服务器就会收到一些你的信息，包括你使用的操作系统，浏览器版本等

这些身份信息虽然不能够直接让人知道你是谁，但是可以简单的了解你是通过什么上网的，比如说windows10系统，谷歌浏览器100版本

怎么查看我的UA

如果你希望查看到自己的user-agent，常用的方法是打开浏览器的审查元素功能，查看数据包。具体的操作一般是右键，审查元素，然后点击一个数据包，之后通过网络里面查看请求头，寻找User-Agent字段，就可以获取到你的user-agent了

比如说，你查看到的user-agent可能是这样的，Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)，这就是一个浏览器形式的user-agent了

如果你不会查看数据包，或者你希望能够有一个更简单的方法可以使用，可以试试这个网站地址，访问