Python + Playwright（13）： 隐藏浏览器指纹特征 & 绕过网站反爬机制

已于 2024-08-27 15:15:16 修改
阅读量2.3k 收藏 10
点赞数 11
分类专栏： Python + Playwright 文章标签： javascript playwright 前端 测试工具 软件测试 自动化测试
于 2024-05-21 14:37:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48321392/article/details/139091493
版权
Python + Playwright 专栏收录该内容
28 篇文章 16 订阅 ¥29.90 ¥99.00
订阅专栏

Python + Playwright（13）： 隐藏浏览器指纹特征 & 跳过网站反爬

前言

  • 浏览器指纹技术通过分析用户的浏览器和操作系统信息来识别用户，这包括浏览器类型、版本、插件、屏幕分辨率等；
  • 在自动化测试和爬虫操作中，这些信息可能会暴露脚本的身份，导致被目标网站阻止；
  • Playwright 允许使用者通过 add_init_script 方法在浏览器启动时注入自定义脚本，从而实现浏览器指纹的隐藏，达到跳过网站反爬的目的。

一、方法1：使用 page.add_init_script() 方法隐藏浏览器指纹

1.1 准备工作

确保你已经获得 stealth.min.js 文件，有需要的童鞋请联系我。

1.2 手动检测浏览器信息

打开浏览器，输入网址：https://bot.sannysoft.com
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
blues_C
关注
专栏目录
订阅专栏
Python + Playwright（19）：监听事件 & 移除监听事件「详细介绍」
blues_C的博客
08-29 521
Playwright 支持对页面事件监听与移除，使得复杂的测试场景能够轻松实现；本篇文章教小伙伴们如何使用Playwright来监听各种事件，并在必要时移除这些事件监听器，确保测试脚本的健壮性和灵活性。
深入探索Python Playwright自动化UI测试框架源码
03-25
项目概述：深入探索基于Python的Playwright UI自动化测试框架 本项目致力于深入研究Playwright这一前沿的自动化UI测试框架，采用Python语言进行深入剖析与实践。项目包含35个文件，其中主要包括： - Python脚本文件（.py）：29个，用于编写自动化测试案例、配置管理及框架核心功能的实现。 - 版本控制忽略配置（.gitignore）：1个，定义哪些文件和文件夹应该被Git版本控制系统忽略。 - 许可证文件（LICENSE）：1个，明确项目许可协议，保障开发与使用的权益。 - Markdown文档（.md）：1个，提供项目说明、使用指南或学习笔记。 - 配置文件（.ini）：1个，用于设置测试环境参数。 - 文本文件（.txt）：1个，可能包含日志输出或附加说明。 - 批处理文件（.bat）：1个，Windows环境下用于批处理任务或脚本的快捷执行。 本项目不仅作为学习Playwright框架的实践案例，也适合对自动化测试、Python编程感兴趣的同行交流与参考。
Playwright Stealth 使用指南
gitblog_00684的博客
08-15 815
Playwright Stealth 使用指南 playwright_stealth项目地址:https://gitcode.com/gh_mirrors/pl/playwright_stealth 项目介绍 Playwright Stealth 是一个基于 Playwright 的扩展插件，旨在帮助自动化脚本避免被网站识别为自动化工具或机器人。通过模拟真实用户的浏览行为，它提供了多种策略来绕过...
推荐项目：BrowserForge，打造精准的浏览器指纹伪造工具
最新发布
gitblog_00466的博客
08-29 586
推荐项目：BrowserForge，打造精准的浏览器指纹伪造工具 browserforge???? Intelligent browser header & fingerprint generator项目地址:https://gitcode.com/gh_mirrors/br/browserforge 在当前网络环境之下，模拟真实的浏览器行为以适应不同的场景需求变得日益重要。今天，我们来深入探讨一个名...
爬虫原理及反爬虫技术|Chromium canvas指纹修改｜chrome 时区修改｜Blender 贝塞尔曲线功能二次开发
jihongyu19870122的专栏
11-23 1006
这个案例、看起来有点长、但是大多数都是注释的代码、真正的也就是Fingerprint的参数如何设置而已。基本上常见的几种、均是通过协议层特征，或者行为特征，或者硬件指纹导致的别识别。如果可以避免掉这些常见的问题，那么是非常容易的。
Selenium 被反爬 报400 打不开
我的博客
04-15 1239
开源地址：https://github.com/ultrafunkamsterdam/undetected-chromedriver。直接使用第三方开源的driver undetected-chromedriver。附带浏览器环境检测网址：https://bot.sannysoft.com/它自带一些常见的因为浏览器环境问题被反爬的反反爬配置，可以规避部分风控。2、替换原生的Selenium。经测试，某知识产权网可用。
Python-TideFinger指纹识别小工具汲取整合了多个web指纹库结合了多种指纹检测方法让指纹检测更快捷准确
08-10
TideFinger：指纹识别小工具，汲取整合了多个web指纹库，结合了多种指纹检测方法，让指纹检测更快捷、准确
Python浏览器指纹反爬详解（包含案例）——blog10
m0_66653437的博客
04-09 3282
看到它返回的HTML代码，下面的数据也是空的，也就是说，网站现在是检测到我们使用的是selenium，然后就被反爬了，不输出数据。那么我们这时候就需要回头看一下，selenium是怎么被反爬的。
浏览器指纹伪装的方式
AdsMagics的博客
11-12 1121
浏览器指纹是什么，如何追踪到我们的信息，如何才能将浏览器指纹伪装起来？ 什么是浏览器指纹 浏览器既给我们带来便利也让我们的喜好信息展露了出来，浏览器指纹可以帮助运营商识别到用户的身份信息，从而分析出用户的喜好，进而推荐相关的广告，以便帮助用户更精准的找到所需信息 浏览器指纹伪装的方式 浏览器指纹获取的参数有：时区、UA、屏幕信息、系统相关设置、浏览器安装插件等等 获取的方式虽然很多，但是只要限制浏览器指纹所需信息的获取，就可以从源头上进行限制，但是实现起来的方式会比较难 像是HTTP中的相.
Python突破浏览器TLS/JA3 指纹
小龙在线
10-17 1512
JA3 是一种创建 SSL/TLS 客户端指纹的方法，一般一个网站的证书是不变的，所以浏览器指纹也是稳定的，能区分不同的客户端。
如何修改Chromium内核|浏览器指纹伪装|Puppeteer指纹|Playwright指纹- Chromium内核修改与浏览器指纹伪装方法-anti-fingerprint指纹浏览器如何搭建环境
jihongyu19870122的专栏
04-13 2043
通过修改浏览器的User-Agent、Canvas指纹、WebRTC配置等信息，可以减少被网站识别的可能性。本文将介绍如何修改Chromium内核以及浏览器指纹伪装的方法，以构建一个抗指纹的浏览环境。除了修改Chromium内核和伪装浏览器指纹外，还应注意其他可能泄露个人信息的因素，如浏览器插件和操作系统配置等。总之，通过了解如何修改Chromium内核和实施浏览器指纹伪装方法，您可以构建一个更加隐私安全和抗指纹的浏览环境，从而更好地保护个人信息和确保自动化任务的顺利执行。
crawloop:基于PlayWright和xvfb实现对js渲染的动态网页进行抓取，包含网页源码，截图，网站入口发现，网页互动过程等等，支持优先级任务调度
03-12
爬网 基于PlayWright实现对js渲染的动态网页进行抓取，包含网页源码，截图，网站入口，网页互动过程等，支持优先级任务调度。 crawloop目前支持一下特性 原生浏览器环境，支持chrome，firefox，协程处理调度任务 完整DOM事件收集，自动化触发 全面分析收集，包括js文件，页面原始码，网站截图，网站图标，标题，编码，cookies，重新链接等等 支持主机绑定，可自定义添加Referer 支持请求代理，支持爬虫结果主动替换 环境（Docker） Docker 18.03以上 Postgresl 9.x以上 Rabbitmq 3.8.x以上 Docker Compose 1.24+ 架构 Crawloop的架构包括了一个主节点（主节点）和多个工作例程（Worker Node），以及负责通信和数据存储的gRPC和Postgresql数据库。 （上图架构有所变化，Mong
Python + Playwright（进阶）：关键字驱动测试框架 Python + Playwright + Yaml + Pytest
blues_C的博客
04-19 4117
关键字驱动测试是一种自动化测试方法，它使用一组关键字或操作，模拟用户在应用程序中的操作进行测试，从而提高测试效率和可重复性。本文将介绍如何使用 Python + Playwright + Yaml + Pytest 实现关键字驱动测试。
Python + Playwright：控制时间
blues_C的博客
06-26 195
Playwright 1.45 版本引入了全新的 Clock API，它允许我们在测试中操纵和控制时间，以验证与时间相关的行为。这一 API 覆盖了多种常见场景，包括使用预定义的时间进行测试、保持一致的时间和定时器、监控不活动状态、手动推进时间等。
Python + Playwright（0）：从零开始学 Playwright
blues_C的博客
06-23 4164
Playwright 是一个强大的自动化库，由微软开发，主要用于web端UI自动化测试，支持 Python、Java、JavaScript、C# 等多种编程语言；Playwright 仅用一个API即可自动执行Chromium、Firefox、WebKit等主流浏览器自动化操作，不仅支持无头模式和有头模式，还提供了代码录制功能，极大地提高了脚本编写效率，并且支持移动端自动化测试。
playwright自定义浏览器设备、时区、经纬度、userAgent、注入脚本
程序员石磊
06-18 4435
介绍 Playwright是一个强大的Python库，仅用一个API即可自动执行Chromium、Firefox、WebKit等主流浏览器自动化操作，并同时支持以无头模式、有头模式运行。 项目地址：https://playwright.dev/docs/intro 我最喜欢的特点 浏览器上下文并行：对具有浏览器上下文的多个并行、隔离的执行环境，重用单个浏览器实例。 自动等待: Playwright 可以自动等待元素，这将会提高自动化的稳定性，简化测试的编写。 支持多个域、页面和表单： Palywright
探秘Playwright Stealth：无痕浏览的Python神器
gitblog_00473的博客
08-15 391
探秘Playwright Stealth：无痕浏览的Python神器 playwright_stealth项目地址:https://gitcode.com/gh_mirrors/pl/playwright_stealth 在数字世界的隐蔽战线，每一个请求都可能暴露你的踪迹。但今天，我们有了一个新的秘密武器——Playwright Stealth，一个旨在让你的网络爬取和自动化任务更加隐匿的开源项...
playwright绕过浏览器检测，使用本地浏览器
dxxmsl的博客
08-27 5415
可以绕过基本上大部分浏览器检测，因为这就是一个真正的浏览器。此方法是playwright与本地浏览器以ws方式通信。此方法不可以在打开了普通版(非第一种情况)的浏览器使用。在上述page下进行浏览器操作即可。在程序中添加下面的代码即可。
JS逆向——借助playwright实现逆向
年轻就做四件事：挣钱存钱、见世面、交朋友、学本事。
06-02 2415
3.通过查看堆栈信息，我们可以找到参数由无到有的地方，e就是token，也是在这里生成的，其生成过程传入了this.$store.state.url.index跟a ，通过查看得知this.$store.state.url.index就是/api/movie而a就是页码*10。playwright支持js文件替换,/js/chunk-10192a00.243cb8b7.js是源文件路径，chunk.js是我们本地路径。这样加载js文件时会被替换我们本地的js.这样我们可以通过js注入来调用加密方法。
使用playwright模拟浏览器获取https://www.nmpa.gov.cn/datasearch/search-result.html的数据
05-27
好的，我来为您介绍如何使用Playwright模拟浏览器获取https://www.nmpa.gov.cn/datasearch/search-result.html的数据。 首先，您需要安装Playwright库。可以使用以下命令在终端中安装： ``` npm install playwright ``` 然后，您可以使用以下代码模拟打开浏览器，导航到目标网站，并搜索数据： ```javascript const { chromium } = require('playwright'); (async () => { const browser = await chromium.launch({ headless: false }); // 打开Chromium浏览器 const page = await browser.newPage(); // 创建一个新页面 await page.goto('https://www.nmpa.gov.cn/datasearch/search-result.html'); // 导航到目标网站 // 等待搜索框加载完成 await page.waitForSelector('.search-input-wrapper input'); // 在搜索框中输入关键字 await page.type('.search-input-wrapper input', '口罩'); // 点击搜索按钮 await page.click('.search-input-wrapper button'); // 等待搜索结果加载完成 await page.waitForSelector('.search-result-list'); // 获取搜索结果 const results = await page.evaluate(() => { const list = []; const elements = document.querySelectorAll('.search-result-list .search-item'); for (const element of elements) { const title = element.querySelector('.search-item-title a').innerText; const date = element.querySelector('.search-item-time').innerText; const link = element.querySelector('.search-item-title a').href; list.push({ title, date, link }); } return list; }); console.log(results); await browser.close(); // 关闭浏览器 })(); ``` 上面的代码首先打开Chromium浏览器，然后导航到目标网站。接着，它等待搜索框加载完成，输入关键字并点击搜索按钮。然后，它等待搜索结果加载完成，并且使用`evaluate`方法获取搜索结果。最后，它将搜索结果打印到控制台中，并关闭浏览器。 希望这可以帮助您获取目标网站的数据！
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

blues_C

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值