pyppeteer隐藏window.navigator.webdriver

最新推荐文章于 2024-04-01 21:54:51 发布
最新推荐文章于 2024-04-01 21:54:51 发布
阅读量607 收藏 1
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pcengineercn/article/details/104384470
版权

由于一些网站的反爬机制，会识别window.navigator.webdriver，对爬虫进行封禁

通过阅读pyppeteer的源码，可以通过修改源码来达到隐藏window.navigator.webdriver的效果

步骤

  • 找到pyppeteer的launcher.py
  • 一般在 Python主目录\lib\python3.6\site-packages\pyppeteer\
  • 定位到60行，找到参数 AUTOMATION_ARGS，把里面的  --enable-automation 注释掉就可以了
pcengineercn
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pyppeteer 的基本使用方法
Giyn
01-29 6243
什么是 Puppeteer？ 要想知道什么是 Pyppeteer，首先应该先了解一下 Puppeteer： Puppeteer 是 Google 基于 Node.js 开发的一个工具，拥有 Puppeteer 即可通过 JavaScript 来控制 Chrome 浏览器的一些操作，也可以用于网络爬虫上，其 API 极其完善，功能非常强大。 什么是 Pyppeteer？ Pyppeteer 是 Puppeteer 的 Python 实现，在 Pyppetter 背后也有一个类似 Chrome 浏览器的 Chr
【python爬虫】完美隐藏window.navigator.webdriver，防止浏览器检测到selenium
hcute的博客
08-24 1275
某些网站滑动条验证码很恶心 所以加上以下验证可以防止网站JS检测到selenium option=webdriver.ChromeOptions() option.add_experimental_option('excludeSwitches',['enable-automation']) driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{ "source":""" Object.de...
[771]如何正确移除 Pyppeteer 中的window.navigator.webdriver
周小董
03-11 2211
由于Selenium启动的Chrome中，有几十个特征可以被识别，所以在爬虫界已经没有以前那么受欢迎了。模拟浏览器的新秀Puppeteer异军突起，逐渐受到了爬虫界的关注。Puppeteer需要使用JavaScript来控制，如果你是用Python，那么就需要使用Pyppeteer. 如果你使用模拟浏览器爬淘宝，你会发现，无论怎么修改参数，Selenium总是可以立刻被识别。但是如果你使用了本文的...
Python爬虫之JavaScript动态渲染页面爬取（Pyppeteer的使用）
最新发布
小李学不完的博客
04-01 2036
一、Pyppeteer的使用、二、pyppeteer爬取实战、Pyppeteer依赖Chromium浏览器运行的。如果第一次运行Pyppeteer的时候，没有安装Chromium浏览器，程序会自动帮我们自动安装和配置好，另外，Pyppeteer是基于Python的新特性asnc实现的，所以它的一些操作执行也支持异步方式。
神仙pyppeteer_stealth，隐藏WebDriver
Laozizuiku的博客
06-25 1125
import asyncio from pyppeteer import launch from pyppeteer_stealth import stealth async def main(): browser = await launch(headless=True) page = await browser.newPage() await stealth(page) # <-- Here await page.goto("https://bot.san.
javascript宿主对象之window.navigator详解
10-21
主要为大家详细介绍了javascript宿主对象之window.navigator，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
navigator-languages:以向后兼容的方式检索window.navigator.languages中保存的语言信息
05-12
导航器语言（小巧且无依赖） 以向后兼容的方式检索window.navigator.languages中保存的语言信息。安装npm i navigator-languages用法const navigatorLanguages = require ( 'navigator-languages' ) ;console . log ...
angularjs-geolocation：围绕window.navigator.geolocation的angular.js包装器
02-25
AngularJS地理位置window.navigator.geolocation周围的angular.js包装器凉亭该模块可以作为Bower软件包使用，请使用以下命令进行安装： bower install angularjs-geolocation 或者bower install git://github....
javascript使用window.open提示“已经计划系统关机”的原因
10-25
你可以使用JavaScript的`navigator`对象来获取关于浏览器和系统的相关信息，但请注意，直接读取或改变系统状态通常是不被允许的，因为这涉及用户隐私和安全。 在编程实践中，为了确保跨浏览器兼容性和用户体验，...
隐藏webdriver
Blinger的博客
08-29 975
webdriver检测这个问题最明显的就是淘宝登录，当我们使用不加任何隐藏处理的selenium和pyppeteer模拟登陆时，淘宝登录时的人机验证将会返回一个错误信息，其实很多其他网站的反爬机制也会检测这一条。所以我们使用selenium和pyppeteer这种库时就需要做webdriver的隐藏处理。 网上大多数处理这种问题就是使用js注入，但这种处理方法明显就是掩耳盗铃，认真思考后就会知道这种方案不可行，因为这些js注入都是在打开网页后进行的，网页早已检测到你是通过webdriver进行的网页访问。所
如何避免Puppeteer被反爬
weixin_45114252的博客
01-06 2782
思路 避免Puppeteer的浏览器特征被检测 即去掉 “webdriver” in navigator 特征 方法1 await page.setUserAgent( "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5") await page.evaluateOnNewDocument('() =>{ Object
Selenium 最强反反爬方案来了！
热门推荐
涛哥聊Python
04-21 1万+
之前我们提到目前网上的反检测方法几乎都是掩耳盗铃，因为模拟浏览器有几十个特征可以被检测，仅仅隐藏 webdriver 这一个值是没有任何意义的。如果你在国内，那么执行这个命令的过程中，会有一个下载 Chromium 的过程，速度非常慢，虽然只有130MB，但是可能会下载好几个小时。所以，如果你使用的是 puppeteer，那么你可以根据它的 Readme说明，直接使用。如果你使用的是 Pyppeteer，那么可以根据我上面文章中给出的方法，试着加载一下这个 js 文件，看看是不是也能成功隐藏特征。
爬虫神器pyppeteer，对 js 加密降维打击
weixin_34090643的博客
05-12 1206
参考文章： 一日一技：如何正确移除Selenium中window.navigator.webdriver的值 pyppeteer使用总结 pyppeteer登陆淘宝笔记 pyppeteer 是对无头浏览器 puppeteer的 Python 封装。无头浏览器广泛用于自动化测试，同时也是一种很好地爬虫思路。 使用 puppeteer（等其他无头浏览器）的最大优势当然是对 js 加密实行降维打击，...
不使用无头浏览器情况下，隐藏浏览器的方法。
z981314046的博客
10-31 3204
不使用无头浏览器情况下，隐藏浏览器的方法。 使用chrome的配置项–window-position暂时将浏览器移动到窗口之外，再使用win32操作句柄的方法隐藏。
python使用pyppeteer突破滑动验证
qq393912540的博客
06-14 7848
前景 现阶段，selenium的反爬策略已经非常成熟了。 selenium最简单的伪装是变为开发者模式。这种模式下，window.navigator.webdriver变量会变成false。可以一定程度上避免被识别。方式如下： options = webdriver.ChromeOptions() options.add_experimental_option('excludeSwitch...
Puppeteer在工作中是如何伪装自己的(爬虫与反爬虫)
weixin_46453301的博客
10-23 1089
为了更好保护我们的数据与程序安全. 今天就介绍一下,如何检测访问我们的web程序是否为无头浏览器, 以及他们的一些反检测的方法. Webdriver检测 一般来说,如果是无头浏览器模式下, navigator.webdriver 会返回 true. 检测方式 最简单的检测方式: if (navigator.webdriver) { // 针对无头浏览器的操作 } 使用defineProperty删除webdriver后如何检测 如果对方使用以下方式删除了webdriver属性,其实还是有办法检测的
数据获取_Pyppeteer基本使用(规避webdriver检测)
RedHot_Thinker
03-19 795
pyppeteer模块的基本使用 pyppeteer模块的基本使用 引言 Selenium 在被使用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的 Python Selenium 库，确实是不是很方便，另外如果要做大规模部署的话，环境配置的一些问题也是个头疼的事情。那么本节就介绍另一个...
pyppeteer进阶技巧 记录一下在使用pyppeteer过程中慢慢发现的一些稍微高级一点的用法。
0x8g1T9E-
04-15 9478
https://www.cnblogs.com/dyfblog/p/10887940.html 一、拦截器简单用法 拦截器作用于单个Page，即浏览器中的一个标签页。每初始化一个Page都要添加一下拦截器。拦截器实际上是 通过给各种事件添加回调函数来实现的。 事件列表可参见：pyppeteer.page.Page.Events 常用拦截器： request：发出网络请求时触发 resp...
window.navigator.webdriver fir
12-23
根据提供的引用内容，window.navigator.webdriver属性是一个用于判断浏览器是否是通过自动化工具（如selenium或playwright）启动的属性。如果该属性的值为true，那么浏览器会认为是通过自动化工具启动的，从而触发反爬机制，需要进行人机验证。 以下是一个演示如何获取window.navigator.webdriver属性的例子： ```javascript const playwright = require('playwright'); (async () => { const browser = await playwright.chromium.launch(); const context = await browser.newContext(); const page = await context.newPage(); await page.goto('https://example.com'); const isWebDriver = await page.evaluate(() => { return window.navigator.webdriver; }); console.log(`window.navigator.webdriver: ${isWebDriver}`); await browser.close(); })(); ``` 上述代码使用playwright库启动了一个Chromium浏览器实例，并打开了一个页面。然后，通过page.evaluate()方法获取了window.navigator.webdriver属性的值，并将其打印出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值