User-Agent分析及其价值简析

最新推荐文章于 2024-10-04 07:45:00 发布
最新推荐文章于 2024-10-04 07:45:00 发布
阅读量2.4w 收藏 5
点赞数 3
分类专栏： 计算广告 文章标签： user-agent
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laozhaokun/article/details/42024663
版权

User-Agent，用户代理。用户在上网访问的时候会作为HTTP的包头的一部分向服务器发送，用于识别用户的当前环境，如浏览器及版本号、操作系统等信息。在Chrome中可以在访问网站的时候按下F12查看。

User-Agent也是用户识别的重要部分，通过分析，能知道用户使用的是什么设备、什么浏览器、什么应用等，进而可以分析其购买力、属性、职业等。

比如我在使用的Chrome的User-Agent：

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36

Mozilla/5.0 ：以前用于Netscape浏览器，目前大多数浏览器UA都会带有。

Windows NT 6.1：代表windows7系统。

WOW64：Windows-on-Windows 64-bit，32位的应用程序运行于此64位处理器上。[1]

AppleWebKit/537.36：浏览器内核[2]。

KHTML：一个HTML排版引擎。

like Gecko：这不是Geckeo 浏览器，但是运行起来像Geckeo浏览器。

Chrome/36.0.1985.125：Chrome版本号。

Safari/537.36：宣称自己是Safari？

判断PC浏览器品牌：
可先判断系统平台，再来判断浏览器。
IE：带有MSIE可认为是IE浏览器。
User-Agent:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)

Safari：仅出现Safari字样。

User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50

Firefox：仅出现Firefox字样。
Firefox 4.0.1 – Windows User-Agent:Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1
Opera：出现Opera字样。
User-Agent:Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11
Chrome：仅出现Chrome、Safari字样。
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11
Maxthon：出现Maxthon。
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)
TencentTraveler：
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)
世界之窗：
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)
360：360SE
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)
搜狗:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0
Avant：
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)


简单的解析可以使用开源的包，下面是一个简单的UA解析函数，用于Hive中作为自定义函数。更复杂的需要自己写规则。 

package com.asiainfo.zhf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

import eu.bitwalker.useragentutils.UserAgent;

public class ParseUserAgent_UDF extends UDF{
	public Text evaluate(final Text userAgent){
		StringBuilder builder = new StringBuilder();
		UserAgent ua = new UserAgent(userAgent.toString());
		builder.append(ua.getOperatingSystem()+"\t"+ua.getBrowser()+"\t"+ua.getBrowserVersion());
		return new Text(builder.toString());
	}
}


移动端的话，一般各种应用都能像浏览器一样访问web页面，其也有自己的UA.

andriod的比较复杂，不过信息量丰富，有些可以看到手机品牌、型号。比如：

Mozilla/5.0 (Linux; Android 4.4.2; HUAWEI P6 S-U06 Build/HuaweiP6S-U06) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/30.0.0.0 Mobile Safari/537.36 AliApp(TB/5.1.3) WindVane/5.6.6 TBANDROID/227200@taobao_android_5.1.3 720X1184
QQMusic 4050102(android 4.3)
Mozilla/5.0 (Linux; U; Android 4.1.2; zh-cn; HUAWEI C8813Q Build/HuaweiC8813Q) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30 Weibo (HUAWEI-HUAWEI C8813Q__weibo__4.3.5__android__android4.1.2)
%E8%85%BE%E8%AE%AF%E6%96%B0%E9%97%BB445(android) --》腾讯新闻445(android)
基于观察，发现android的手机型号多数位于ua中的第一个括号中的倒数第二个位置，下面试着将其解析，同样写成hive函数的形式，便于在hive中利用。 

	public Text evaluate(final Text userAgent){
		String str = parse(userAgent.toString());
		return new Text(str);
	}
	public String getFromRegrex(String str,String pattern,int index){
		Pattern p = Pattern.compile(pattern);
		Matcher matcher = p.matcher(str);
		while(matcher.find())
			str = matcher.group(index);
		return str;
	}
	public String parse(String userAgent){
		String pattern1 = "(.*) AppleWebKit";
		String pattern2 = ".* ";
		String str = getFromRegrex(userAgent,pattern1,1);
		String params[] = str.split(";");
		return getFromRegrex(params[params.length-1],pattern2,0).trim();
	}
这样经过查询，可以得到某地区某天的上网人数中使用android手机型号数(ip,cookie,型号均不同则算一个设备)的排行榜： 

GT-N7100        96002
MI 3    72004
GT-I9500        58310
GT-I9300        48464
MI 2S   38417
SM-N900 31373
SM-N9006        27178
GT-I9508        24072
HM NOTE 1LTETD  22243
SM-N9008        21817
GT-N7108        21516
SM-N9009        19978
MI 3W   19175
MI 2    18545

可以看出，三星和小米占大头，如果将‘-’等分隔符去掉，只看厂商，则更加清楚地能看到每个厂商的设备在市场上的占有数。

ios App默认的UA格式：App名/版本号 CFNetwork/版本号 Darwin/版本号".

%E7%BE%8E%E9%A2%9C%E7%9B%B8%E6%9C%BA/3.0.1 CFNetwork/672.1.15 Darwin/14.0.0 --》美颜相机/3.0.1 CFNetwork/672.1.15 Darwin/14.0.0

基于如上规则，可以查出ios应用的使用排行，下面ios App是在某地区某天的使用人数(cookie、ip均不同则算一个人)：

DPScope 1885255
IHexin  992702
QQ  954482
PPStream_2.5.2  579123
BaiduBoxApp 533368
Taobao4iPhone   401745
BaiduVideo-iPad 280836
DuShuBusHD  259936
CTRIP_WIRELESS  232708
TBClient    223778
IphoneCom   215576
Weibo   174699
BaiduIphoneVideo    169767
BaiduBoxAppDistribution 122065
IPadQQ  67418
weshoothd   62836
AmHexinForPad   58517
TmallClient-iPad    50073
可以看出，除了qq、baidu等使用大众产品之外的人很多外，炒股的人也很多！

[1]http://baike.baidu.com/view/826224.htm

[2]http://tools.yesky.com/19/34456519.shtml  浏览器内核Trident/Gecko/WebKit/Presto


sanfendi
关注
专栏目录
架构简析| AutoGPT
qq_37286005的博客
05-03 1753
AutoGPT核心代码分析
java解析userAgent中的所有信息
09-19
改资源的注释已经很详细了，但是还是建议配合我的博客一起学习：博客地址：https://blog.csdn.net/qq_23832313/article/details/82775316
User_agent 的解析
young_old_boy的博客
01-15 2129
User_agent 的解析 user_agents是一个Python库，通过解析（浏览器/ HTTP）用户代理字符串，提供了一种识别/检测手机，平板电脑等其他设备的简便方法。 用户代理是基于移动设备，平板电脑或PC的设备 用户代理具有触摸功能（具有触摸屏） user_agents依靠优秀的ua-parser来实际解析原始用户代理字符串。 github: https://github.com/se...
【Python】解密用户代理：使用 Python User Agents 库探索浏览器和设备信息
最新发布
技术无疆
10-04 1135
Python User Agents 是一个专为解析 User Agent 字符串而设计的 Python 库。它能够轻松识别访问设备的类型（如移动设备、桌面设备或平板），并获取设备、浏览器、操作系统等详细信息。借助它，开发者可以更好地了解访问用户的设备属性，为不同设备提供定制化体验。
【HTTP协议系列2】User-Agent的历史
安全曼巴2020
02-11 2698
1993年，NCSA 发布了首款 web 浏览器 Mosaic。它的 user-agent 字串非常简洁： 　　Mosaic/0.9虽然当时由于它对操作系统和平台的依赖性，但是基本格式还是很简单明了。在文本中，斜杠前面是产品名称(可能会显示为 NCSA Mosaic 或是其他类似的字)，斜杠后面是产品版本号。 　　Netscape Communications 开发了
useragent-分析
weixin_34297704的博客
09-11 383
1.非正常的Useragent1.1 Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.6 (KHTML, like Gecko) HBBTV/1.0.0 (<profilelist><ui_profile name="OITF_HD_UIPROF+DL+DRM+META_BCG+META_SI+...
VOIP轻松入门-SIP协议简析
05-19
SIP协议的重要组成部分包括用户代理（User Agent），代理服务器（Proxy Server），重定向服务器（Redirect Server）和注册服务器（Register Server）。用户代理是用户和SIP网络交互的接口，进一步分为用户客户端...
Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts)
tugouxp的专栏
09-07 3341
perf record 采集数据，还可以在采集时记录堆栈，然后在后期分析时根据堆栈进行聚合。perf report 分析数据给用户展示perf script 对数据进行脚本化处理、加工/分析。perf annotate 用来展示原始明细，可以看到指令、及其采用数、比例等，可以寻找热点。
Neutron配置文件简析（J版RDO安装）
night_elf_1020的专栏
03-11 4149
Neutron配置文件简析（J版RDO安装）        sina微博@北京-小武  个人博客： http://blog.csdn.net/night_elf_1020 Neutron的配置文件随着代码的修改而变化，理解每个配置选项的含义对于正确部署Neutron或快速定位Neutron的异常问题有着重要的意思。下面仅仅简陋的讲解下Neutron主要配置文件重要配置项的含义，表述不准确的地方
HTTP协议简析
_吉尔伽美什
05-07 267
浏览器访问服务器的过程 1.用户输入地址 2.流量拿起请求DNS服务器，获取域名对应的IP地址 3.请求连接该IP地址服务器 4.发送资源请求（HTTP协议） 5.web服务器接收请求，并解析请求，判断用户意图 6.获取用户想要的资源 7.将资源返回给web服务器程序 8.web服务器程序将资源数据通过网络发送给浏览器 9.浏览器解析请求的数据并且完成数据的显示 网址 网址又称为URL，URL的英...
JavaUser-Agent解析库
08-08
Java User-Agent 解析库
java 解析user-agent 信息
09-02
主要介绍了java 解析http user-agent的信息的相关资料,需要的朋友可以参考下
java解析http user-agent信息jar
12-28
static UASparser uasParser = null; // 初始化uasParser对象 static { try { uasParser = new UASparser(OnlineUpdater.getVendoredInputStream()); } catch (IOException e) { e.printStackTrace(); } } public static void main(String[] args) { String str = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36"; System.out.println(str); try { UserAgentInfo userAgentInfo = UserAgentUtil.uasParser.parse(str); System.out.println("操作系统名称："+userAgentInfo.getOsFamily());// System.out.println("操作系统："+userAgentInfo.getOsName());// System.out.println("浏览器名称："+userAgentInfo.getUaFamily());// System.out.println("浏览器版本："+userAgentInfo.getBrowserVersionInfo());// System.out.println("设备类型："+userAgentInfo.getDeviceType()); System.out.println("浏览器:"+userAgentInfo.getUaName()); System.out.println("类型："+userAgentInfo.getType()); } catch (IOException e) { e.printStackTrace(); } }
USERAGENTPARSER解析
12-13
GOOLE 开源 解析useragent 代码
UserAgent解析库——user_agents.7z
09-16
Python UserAgent解析库——user_agents，判断如手机等访问设备 https://xercis.blog.csdn.net/article/details/108620963
UserAgent 解析
oHuangBing的博客
07-30 1757
介绍了两种方式解析UserAgent库解析UserAgent与在线UserAgent解析，同时对于这两种方式存在的优劣经行了一个比较，具体情况我们可以采用不同的方式解析UserAgent。通过以上介绍，你是不是觉得UserAgent解析很简单？...
UserAgent的解析
myloveprogrmming的博客
12-18 2582
package item_day2; import cz.mallat.uasparser.OnlineUpdater; import cz.mallat.uasparser.UASparser; import cz.mallat.uasparser.UserAgentInfo; import java.io.IOException; //解析浏览器的useragent的工具类，内部就是调用...
2019/11/05 04-useragent分析
qq_42227818的博客
09-29 360
现在该做真正的分析了
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值