Python爬虫中深不可测的ua参数，爬虫的身份证

最新推荐文章于 2024-04-26 13:03:23 发布
最新推荐文章于 2024-04-26 13:03:23 发布
阅读量1.3k 收藏 3
点赞数
文章标签： Python Python爬虫 js破解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41624982/article/details/86544388
版权
本文探讨了Python爬虫中ua参数的重要性，如何变为复杂的动态识别算法，以及大型网站如何利用js生成ua防止爬虫。通过淘宝和pm9b.com的案例分析，展示了ua如何结合本地环境和用户标识变化，并推荐了fake_useragent和faker库用于随机生成User-Agent。
摘要由CSDN通过智能技术生成

ua：UA的中文翻译是用户代理，全称是User Agent，简单来说是终端的环境信息如：Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1

 

它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等

 

但是这只是一般意义上的ua参数，实际使用中ua代表了一个终端的标识，ID代表了一个用户的标识，随着网络安全的深入，ua已经不再是一串环境的信息字符串，而是开发者单独发开出来的一套甄别终端的算法，成为了单独执行的js文件。

 

一般在requests的headers里面我们都会附带上User_Agent以规避后台检测是否为爬虫的请求，但是随着安全的提升现在的大型网站已经不再用请求头里面的ua，而是使用单独的js本地生成ua参数，再发给浏览器然后对当前的终端进行鉴别，这样无疑加大了爬虫的难度。

 

在控制台输出ua信息：

> navigator.userAgent
< "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5603.400 QQBrowser/10.1.1775.400"

 

淘宝的ua：

在访问淘帮网站在登陆页会自动发送一个p

最低0.47元/天 解锁文章
Python之战
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫 urllib模块反爬虫机制UA详解
python爬虫教程
03-02 2039
这篇文章主要介绍了python爬虫 urllib模块反爬虫机`制UA详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 方法： 使用urlencode函数 urllib.request.urlopen() import urllib.request import urllib.parse url = 'https://www.sogou.com/...
python爬虫五万条UA
08-26
手机电脑端的都有，5万条+ wap:Mozilla/5.0 (iPhone; CPU iPhone OS 12_1_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 MQQBrowser/8.9.9 Mobile/16C101 Safari/604.1 MttCustomUA/2 ...
如何根据User Agent参数字符串判断客户端使用的是什么浏览器的版本及类型
EmmaGood的专栏
08-05 2494
如何根据User Agent参数字符串的各个字段Mozilla/5.0/4.0-AppleWebKit/Chrome/Safari/Firefox/Opera/MSIE 来确定判断客户端使用的是什么浏览器的版本及类型呢？或者使用JavaScript/js 脚本来判断浏览器类型及版本。 下面给你一一解答以及给你介绍： //Mozilla/5.0 (Windows; U; Windows
python中的ua反爬
无简介！！
04-26 254
navigator 携带参数_Python爬虫中深不可测的ua参数，爬虫的身份证
weixin_39723655的博客
11-28 383
ua：UA的中文翻译是用户代理，全称是User Agent，简单来说是终端的环境信息如：Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类...
python解析浏览器UA
scalaUser的博客
04-20 2192
一个非常神奇的包可以帮助我们优雅的解析浏览器的UA，他的名字叫做user_agentspip install pyyaml ua-parser user-agents&gt;&gt;&gt; ua_string = 'Mozilla/5.0 (iPhone; CPU iPhone OS 5_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko...
hadoop-streaming调用Python脚本解析ua
A宇
10-22 371
1.从环境中找到hadoop-streaming-2.3.0-mr1-cdh5.1.2.jar的包 [root@ayu python]$ cd $HADOOP_HOME &amp;&amp; find ./ -name "*streaming*" ./share/doc/hadoop-streaming ./share/doc/hadoop-mapreduce1/streaming.pdf ./s...
UA爬虫
hrbbeeant的博客
04-01 209
# -*- coding: utf-8 -*- import requests import pandas as pd from urllib import parse from lxml import etree url = 'http://useragentstring.com/pages/useragentstring.php?name=All' header = { ...
python爬虫UA大合集
05-23
适合于python爬虫工程师，可以使用随机的UA请求头，包含web端各大浏览器常用版本的UA 一千多个，可以放入高效伪装浏览器，防止被服务器识别，UA很常见但是这个合集有一千多个！！！
python爬虫：Python 爬虫知识大全
最新发布
06-22
python爬虫：Python 爬虫知识大全； python爬虫：Python 爬虫知识大全； python爬虫：Python 爬虫知识大全； python爬虫：Python 爬虫知识大全； python爬虫：Python 爬虫知识大全； python爬虫：Python 爬虫知识...
uap-python:ua-parser的Python实现
05-03
uap-python UA解析器的python实现（ ，以前是 ） 建置状态 正在安装 通过点子安装 赶紧跑： $ pip install ua-parser 手动安装 在顶级目录中运行： $ python setup.py install 变更记录 由于此存储库主要是用户代理字符串解析器存储库（ ）的python包装，因此对该存储库所做的更改最好由该项目中的更新差异描述。 请参阅此子模块的差异（ ），以获取此软件包版本之间已更改内容的列表。 入门 检索用户代理字符串上的数据 >> > from ua_parser import user_agent_parser >> > import pprint >> > pp = pprint . PrettyPrinter ( indent = 4 ) >> > ua_string = 'Mozilla/5.0 (Macintos
ua简单客户端连接，读写参数
07-13
简单opc ua 客户端开发实例，简单的读写标签
python爬虫十万条UA User_Agent信息浏览器头信息包括手机
03-30
包括电脑端手机端user_agent,手机都是一年内最新的设备信息，因为是用户访问网站的记录，所以里面有重复的 wap:Mozilla/5.0 (Linux; U; Android 5.1.1; zh-CN; FDR-A01w Build/HuaweiMediaPad) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30 wap:Mozilla/5.0 (iPhone; CPU iPhone OS 11_4_1 like Mac OS X; zh-CN) AppleWebKit/537.51.1 (KHTML, like Gecko) Mobile/15G77 UCBrowser/12.1.7.1109 Mobile AliApp(TUnionSDK/0.1.20.3) wap:Mozilla/5.0 (Linux; U; Android 7.0; zh-cn; HUAWEI CAZ-TL10 Build/HUAWEICAZ-TL10) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.132 MQQBrowser/8.9 Mobile Safari/537.36 wap:Mozilla/5.0 (Linux; U; Android 5.1.1; zh-CN; FDR-A01w Build/HuaweiMediaPad) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30 wap:Mozilla/5.0 (Linux; U; Android 5.1.1; zh-CN; FDR-A01w Build/HuaweiMediaPad) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30 pc:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.90 Safari/537.36 2345Explorer/9.5.2.18321
python爬虫基础python爬虫基础
12-28
python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础python爬虫基础...
python爬虫之requests_html 爬取身份证信息（假的信息）
自学小菜菜
03-18 983
python爬虫之requests_html 爬取身份证信息（假的信息） 直接上源码，粘贴即用 import requests from requests_html import HTMLSession session = HTMLSession() def huoqu(): session = HTMLSession() for url in listlink(): r = session.get(url) for i in range(1,16): name = r.html.xpath("//tabl
Python爬虫：UA伪装
m0_73716246的博客
07-18 2145
若检测到载体身份标识为某款浏览器，说明该请求是个正常请求。若不是，则表示该请求为不正常的请求（即爬虫，请求载体要么是基于浏览器要么是基于爬虫），服务器可能会拒绝该次请求。正因为服务器可能会拒绝请求，所以在第2步发起请求时，将请求头信息伪装为 header，再进行 get() 请求。打开网页按F12，Ctrl+R，点击网络，请求标头中有个User-Agent，表示请求载体的身份标识。打开一个网页，利用上面的链接作为 URL，这里只需要用到。将这里我们浏览器的标识赋值给 header，是请求载体的身份标识。
关于python爬虫的ua设置
幻世
08-13 3282
无论使用requests还是httpx其实不设置ua也是可以跑的，只不过跑的时候是默认的ua，但是对于一些设置了防火墙或者有防御性质的cdn来说，默认的ua是肯定进不去的。常规来说如果我们爬虫不是很频繁，那我们可以将ua设置成固定的常见浏览器ua就可以避过站长的巡查，但是如果频繁，站长可能为了保证服务器正常运行，还是有可能将我们的ip和ua禁掉的。ua=uas.user_agent()为获取随机ua的代码，将这行放到get请求前，然后替换headers中的ua就好。...
Python爬虫环境与爬虫介绍
08-19
在当今数据驱动的世界中，Python爬虫技术扮演着至关重要的角色，特别是在大数据挖掘和分析领域。本文将深入探讨Python爬虫环境的配置以及爬虫的基本概念。 首先，让我们了解什么是网络爬虫。网络爬虫，又称网络蜘蛛...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值