什么是UA?常见蜘蛛UA？怎么查询UA？

UA简介

UA其实是User Agent的简称。
所谓的User Agent其实就是浏览器在跟服务器通信的时候，一段百十来个字符的落款信息罢了。浏览器发送的每一个HTTP请求数据的头部都加了这个信息。大概包含以下几类内容，操作系统、移动端与否、浏览器内核名字、浏览器名字、内核版本、浏览器版本。

查看自己的UA

查询自己UA的网站：https://useragentstring.com/

修改它的常见用处

1、将手机浏览器伪装成桌面版浏览器以获取网站针对桌面浏览器的页面。
2、将桌面浏览器伪装成手机浏览器，多用于前端程序员调试页面的时候。
3、将爬虫程序伪装成普通浏览器，躲过网站针对UA的反爬措施。

搜索引擎蜘蛛UA大全

百度

Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)

谷歌

Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)

搜狗

Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Bing

Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)

360

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36; 360Spider

SoSo

Sosospider+(+http://help.soso.com/webspider.htm)

Yandex

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Yahoo

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

头条搜索

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

神马

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

常见蜘蛛UA标识

百度： Baiduspider Baiduspider-render Baiduspider-video Baiduspider-news Baiduspider-mobile
360: 360Spider
搜狗： Sogou web spider Sogou inst spider Sogou spider2 Sogou blog Sogou Orion spider Sogou News Spider
必应： bingbot
SOSO: Sosospider
雅虎： Yahoo! Slurp China Yahoo! Slurp
神马： YisouSpider
谷歌： GoogleBot Googlebot-Mobile