初次接触python爬虫requests.get涉及的UA(浏览器标识信息)问题

原创 2018年04月17日 21:56:27

初次接触学习崔大神的python爬虫时候,其中利用requests.get进行网页抓取时候涉及UA(浏览器标识信息)问题。开始没有看明白,大神也只是简单提示爬虫的时候必须添加,其他息没有提示。最后自己给也给忽视了。

今天学习别人的爬虫代码,又碰到了上面类似的 UA 代码,不理解。所以百度了下,下面分享下,供IT小白同道人参考。

1.什么是UA 

User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

具体可以快速了解下百度百科吧。点击打开链接

2.爬虫时候提供UA的作用(百度转载别人的。。。)

  1. 通过这个标识,用户所访问的网站可以显示不同的排版,从而为用户提供更好的体验或者进行信息统计。例如,百度、新浪等网站用手机访问和电脑访问是不一样的,这是因为网站根据访问者的UA判断后,进行了不同的设置和处理。
  2. 使用User-Agent伪造浏览器,谎称身份欺骗服务器IE,FireFox,Opera,Maxthon,Chrome,Safari,iPhone,ipad..qq空间说说,微薄转发,有个通过ipad发布。。通过iphone..就是读取User-Agent,当然这个可以伪装的
  3. 用于seo,有一种SEO的技术,就是判断 user-agent,如果是搜索引擎的爬虫,就把内容显示出来,否则的话,只显示给付费用户。所以有的网站能够被Google搜索到,点击链接进去以后 却显示“未注册”、“还不是会员”。通过伪装user-agent可以达到相应的目的。。

3.如何自己获取自己浏览器的UA

  • 1.地址栏中输入:about:version(推荐方法,亲测可用)
  • 2. 地址栏中输入javascript:alert(navigator.userAgent) (没成功。。。可能网络连接问题
  • 3. 另附两个在线获取的网站:(亲测可用)

    http://www.useragentstring.com/     

    http://tools.jb51.net/table/useragent


python3使用requests模块的get方法做爬虫(伪装浏览器)

获取网页对象可以使用两种方法: 使用urllib模块的urlopen方法: import urllib reponse=urllib.urlopen("http://www.itcast...
  • Cooler_max
  • Cooler_max
  • 2018-01-29 12:05:48
  • 261

浏览器UA,浏览器标识检测

你的浏览器标识为:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chro...
  • fanhu6816
  • fanhu6816
  • 2016-12-09 11:02:43
  • 5414

浏览器UA大全

0 用途与介绍 UA  -- uesr-agent -- 用户代理,是服务器判断请求的种类,比如:使用PC和手机访问一个网站,呈现的画面是不一样的。 原理就是设备的用户代理不同 1 主要...
  • WER1234S
  • WER1234S
  • 2014-02-10 09:19:51
  • 46055

js智能获取浏览器版本UA信息

/* * 智能获取浏览器版本信息 * */ var browser={ versions:function(){ var u = navigator.userAgent, ...
  • tjcyjd
  • tjcyjd
  • 2016-07-01 17:55:41
  • 6008

通过JS解析手机浏览器UA标志中的各种设备信息

通过获取手机浏览器的UA标志后,对UA字符串进行解析出手机的各种基本信息。 /* * @name Operating System * @desc Currently is only to us...
  • qing666888
  • qing666888
  • 2017-03-15 00:09:33
  • 2245

【python 爬虫】伪造UA字符串

写好爬虫的原则只有一条: 就是让你的抓取行为和用户访问网站的真实行为尽量一致。1、伪造UA字符串,每次请求都使用随机生成的UA。 为了减少复杂度,随机生成UA的功能通过第三方库fake-usera...
  • u013421629
  • u013421629
  • 2017-10-07 10:34:31
  • 1813

多说高级应用-添加 UA 浏览器标识、旋转头像等

原文发表在:http://blog.buer.website相关脚本下载完整多说 CSS 样式文件: duosuo.css by Yeechong完整多说 embed-js 文件: embed-js ...
  • erchowyo
  • erchowyo
  • 2017-01-13 13:08:45
  • 566

修改Firefox浏览器 user-agent 微信浏览器UA

在有些情况下,修改user agent还会起到防网页木马的作用。 在 Firefox 地址栏中输入 about:config。 右键新建一个名为 general.useragent.overrid...
  • wengchen123
  • wengchen123
  • 2016-12-04 21:39:40
  • 8849

ios 修改webview的 ua

(转)iOS中修改WebView默认的User Agent 使用了第二种方法,略作修改, - (BOOL)application:(UIApplication *)applic...
  • wanglj7525
  • wanglj7525
  • 2015-02-05 10:45:42
  • 8360
收藏助手
不良信息举报
您举报文章:初次接触python爬虫requests.get涉及的UA(浏览器标识信息)问题
举报原因:
原因补充:

(最多只允许输入30个字)