修改浏览器的User-Agent来伪装你的浏览器和操作系统

近期很多文章都提到了User-Agent (UA) 字符串,但大部分网友都不知道这个东西有什么用处。其实简单的说User-Agent就是客户端浏览器等应用程序使用的一种特殊的网络协议,在每次浏览器(邮件客户端/搜索引擎蜘蛛)进行 HTTP 请求时发送到服务器,服务器就知道了用户是使用什么浏览器(邮件客户端/搜索引擎蜘蛛)来访问的。既然是人为规定的协议,那么就是说不管什么浏览器,默认的UA都是可以更改的。有时候为了达到一些不可告人的目的,我就经常需要更改一下UA的设置,比如伪装一下浏览器类型,比如把浏览器伪装成手机上网。

得到HTTP_USER_AGENT 的方法很简单,比如php代码:

<?php print_r($_SERVER);
?>
<?php print_r($_SERVER['HTTP_USER_AGENT']);
?>

这两种都可以得到User-Agents和IP等信息,最好配合正则表达式,对信息进行筛选剔除。

————– User-Agents列表————-

Internet Explorer 6
Internet Explorer 7
Internet Explorer 8
Firefox
Chrome
Safari
Netscape
Opera
Maxthon
360SE
OmniWeb

更多的User-Agents信息尽在useragents.xml

有了这个文件中的信息,什么样的浏览器和操作系系统都能伪装出来。

使用User-Agents的方法:

FireFox:[推荐使用User-Agent switcher 这个火狐扩展]
地址栏键入:about:config 回车
设置:general.useragent.override–>自定义的 UA 信息 。

Chrome
启动EXE图标属性中加上启动参数:–user-agent=”UA信息” 即可。

Safari
菜单栏->Edit->Preferences->Advanced->Show Develop menu in menu bar;
菜单栏->Develop->User-Agent->UA信息。

Maxthon
工具栏->工具->遨游设置中心->高级选项->自定义UA信息。

Opera
地址栏键入:opera:config 回车
设置:User-Agent->自定义ID 0—5
注: [0 Default 1 Opera 2 Mozilla, Opera detectable 3 Internet Explorer, Opera detectable 4 Mozilla, Opera hidden 5 Internet Explorer, Opera hidden ]

iPhone
替换 /System/Library/Frameworks/WebKit.framework/WebKit 这个文件的 Mozilla/5.0字符串 为自定义UA信息

IE浏览器的设置需要修改注册表

User-Agent在注册表的位置
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\User-Agent\Post Platform] 下,新建字符串值,内容留空,名字为你想在 User-Agent 中加入的字符,这里以 “motorolarokre2”为例。修改注册表对应的 REG 文件如下:
Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\User-Agent\Post Platform]
“motorolarokre2”=”“

修改后重启IE浏览器即可。

IE的user-agent取值,下面是下列地址的组合+一些默认值
HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings\User-Agent\Post Platform
HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Internet Settings\User-Agent\Post Platform
HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\CurrentVersion\Internet Settings\5.0\User-Agent\Post Platform

IE8的User-Agents:

IE8 on Windows Vista (兼容浏览)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/4.0)

IE8 on Windows Vista
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)

IE8 on Windows 7
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)

64-bit IE on 64-bit Windows 7:
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)

32-bit IE on 64-bit Windows 7:
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0)

通过修改User-Agent,你还可以完美的伪装:操作系统、浏览器、蜘蛛、邮件客户端、链接检查、分析器、RSS 阅读器等客户端的信息。

版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明
文章引用地址:http://www.iefans.net/user-agent-weizhuang-liulanqi-caozuoxitong/ 作者:iefans




0 用途与介绍

UA – uesr-agent – 用户代理,是服务器判断请求的种类,比如:使用PC和手机访问一个网站,呈现的画面是不一样的。

原理就是设备的用户代理不同

1 主要浏览器

safari 5.1 – MAC
User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50
safari 5.1 – Windows
User-Agent:Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50
IE 9.0
User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;
IE 8.0
User-Agent:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)
IE 7.0
User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)
IE 6.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Firefox 4.0.1 – MAC
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1
Firefox 4.0.1 – Windows
User-Agent:Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1
Opera 11.11 – MAC
User-Agent:Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11
Opera 11.11 – Windows
User-Agent:Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11
Chrome 17.0 – MAC
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11

2 国产浏览器
Maxthon
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)
TT
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)
The World 2.x
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)
The World 3.x
User-Agent:?Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)
搜狗浏览器 1.x
User-Agent:?Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)
360SE
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)
Avant
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)
Green Browser
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)

3 移动设备端
safari iOS 4.33 – iPhone
User-Agent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
safari iOS 4.33 – iPod Touch
User-Agent:Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
safari iOS 4.33 – iPad
User-Agent:Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5
Android N1
User-Agent: Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
Android QQ For android
User-Agent: MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1
Android Opera Mobile
User-Agent: Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10
Android Pad Moto Xoom
User-Agent: Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13
BlackBerry
User-Agent: Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+
WebOS HP Touchpad
User-Agent: Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0
Nokia N97
User-Agent: Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124
Windows Phone Mango
User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)

UC标准
User-Agent: NOKIA5700/ UCWEB7.0.2.37/28/999
UCOpenwave
User-Agent: Openwave/ UCWEB7.0.2.37/28/999
UC Opera
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999

  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: 在Python爬虫中,可以通过伪装User-Agent来隐藏爬虫的真实身份,避免被网站封禁。User-Agent是HTTP请求头的一部分,用于描述客户端的类型、操作系统浏览器等信息。一些网站会根据User-Agent来识别客户端的真实身份,所以我们可以通过修改User-Agent来达到伪装的目的。 在Python中,可以使用第三方库如Requests、urllib等来发送HTTP请求,并通过设置headers参数来伪装User-Agent。具体来说,我们可以在headers中设置User-Agent字段,例如: ``` import requests url = 'http://example.com' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' } response = requests.get(url, headers=headers) ``` 在上述代码中,我们设置User-Agent为Chrome浏览器的信息,这样就可以伪装浏览器发送HTTP请求,而不是Python爬虫发送的请求。当然,为了避免被网站封禁,我们需要经常更新User-Agent,同时也要注意不要过于频繁地发送请求,以免被识别为爬虫。 ### 回答2: Python爬虫伪装User-Agent指的是开发者在编写Python代码的过程中,将User-Agent设置浏览器端的User-Agent,从而避免服务器端针对爬虫进行封禁或者限制访问。 User-Agent是HTTP请求的头部信息之一,用于告知服务器客户端正在使用的浏览器操作系统的情况。由于爬虫使用的请求头往往与常规浏览器的请求头不同,因此服务器可能会对其进行限制、封禁甚至是先后回应。 为了避免这种情况,我们可以在代码中设置一个随机的User-Agent。Python中有许多第三方库提供了User-Agent,比如fake_useragent、user_agents等。这些库可以生成一个随机的User-Agent,让服务器无法将其与爬虫识别出来。 另外,我们也可以手动编写每个请求的User-Agent,使其更加随机和多变。在编写代码时,我们可以将User-Agent列表存储到文件中,然后在每次请求时随机选择一个User-Agent,使得每个请求使用的User-Agent都不相同。 需要注意的是,虽然伪装User-Agent可以一定程度上避免被服务器封禁,但过于频繁的访问依然可能被服务器识别为爬虫行为。因此,建议在爬虫程序中加入适当的延时和限制访问次数的机制,以避免被反爬虫机制限制。 ### 回答3: 为了更好地伪装自己的爬虫程序,我们需要理什么是 User-AgentUser-Agent 是一种 HTTP 请求头部信息,用于描述用户代理的一些信息,包括操作系统浏览器类型、版本等等。在爬虫请求时,服务器通过 User-Agent 来判断请求是否来自浏览器。因此,如果我们的爬虫请求头中不带 User-Agent 或者 User-Agent 显然是一个机器人,那爬虫很可能会被服务器封禁。 通过 Python 爬虫伪装 User-Agent 的方法有很多种,以下是一些常用的方法: - 使用 fake-useragent:fake-useragent 是一个第三方库,可以自动生成随机 User-Agent,使用方法非常简单。 - 使用 requests 库自定义 headers:这种方法的灵活度比较高,可以自定义 User-Agent,还可以添加其他自定义信息。 - 使用 random.choice() 函数随机选择 User-Agents:可以通过准备好多个 User-Agent 列表,然后随机选择一个 User-Agent。 参考下面代码: ``` import requests import random # 使用fake_useragent库来设置User-Agent from fake_useragent import UserAgent # 使用random.choice随机选择User-Agent UserAgents = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36", ] # 设置随机User-Agent headers = { 'User-Agent': random.choice(UserAgents) } # 或使用fake-useragent库来生成User-Agent headers = { 'User-Agent': UserAgent().random } # 执行请求 response = requests.get(url, headers=headers) ``` 总之,为了避免被服务器封禁,我们需要用一些方法伪装自己的 User-Agent,使其看起来更像是来自浏览器的请求。当然,我们也需要注意不要伪装得过于真实,否则过多的请求可能会对目标网站造成负面影响。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值