pyppeteer操控已有浏览器

最新推荐文章于 2024-08-21 09:34:08 发布
最新推荐文章于 2024-08-21 09:34:08 发布
阅读量3.4k 收藏 9
点赞数 1
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38609065/article/details/93194890
版权
由于pyppeteer官方文档上说最好用适配浏览器来操作,因此这里选用chromium

翻文档,发现文档中这么写着
pyppeteer.browser.Browser
Connect to the existing chrome.
browserWSEndpoint option is necessary to connect to the chrome. The format is ws:// { h o s t } : \{host\}: {host}:{port}/devtools/browser/<id>. This value can get by wsEndpoint.
那么怎么找到这个 ws:// { h o s t } : \{host\}: {host}:{port}/devtools/browser/<id> 呢
首先在需要的浏览器上把端口改成没有占用的,这里大家都改成了9222,因此我也改成了9222
在这里插入图片描述

然后再浏览器上输入 localhost:9222/json, 就得到了我们需要的信息

在这里插入图片描述

代码中生成browser对象从 launcher改为connect,带上参数就ok

在这里插入图片描述

qq_38609065
关注
专栏目录
pyppeteer 远程调试（连接已打开的浏览进行操作）
小Y的博客
02-28 2217
使用端口模式启动浏览器 找到chromium安装位置，默认位置如下 C:\Users\user\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32 cmd 执行chrome.exe --disable-infobars --remote-debugging-port=9222 在打开的chromium 浏览器输入http://localhost:9222/json查看连接信息 [ { "description":
可配合pyppeteer防反爬干扰脚本完美
12-11
pyppeteer防反爬干扰脚本 selenium爬虫可能会被检测到，此脚本配合pyppeteer等可以完美绕过
Puppeteer API 中文文档教程
最新发布
gitblog_00657的博客
08-21 297
Puppeteer API 中文文档教程 puppeteer-api-zh_CN???? Puppeteer中文文档（官方指定的中文文档）项目地址:https://gitcode.com/gh_mirrors/pu/puppeteer-api-zh_CN 项目介绍 Puppeteer 是一个 Node 库，它提供了一套高级 API 来通过 DevTools 协议控制 Chrome 或 Chromium...
python操作本地浏览器webbrowser
Jonariguez 吾本优秀
04-16 1万+
python操作本地浏览器webbrowser webbrowser是python3自带的库，可以直接用import webbrowser导入。 webbrowser的使用 import webbrowser as web web.open('https://www.baidu.com') 就可以直接使用默认的浏览器打开https://www.baidu.com 选用别的浏览器 那就需要先注册...
py 启动默认浏览器
qq_33240556的博客
12-01 750
请注意，这些方法可能需要您的系统配置特定于浏览器或Python库，并且可能需要使用管理员权限或特定的环境变量。确保您已经正确配置了默认浏览器和Python环境。要在Python中启动默认浏览器，可以使用第三方库如webbrowser或pyperclip，也可以使用操作系统特定的命令行调用。注意，上述代码假定您已经将默认浏览器配置为在桌面创建一个快捷方式，并使用“start”命令打开它。您需要根据您的操作系统和配置进行相应的修改。这将打开默认浏览器并导航到指定的URL。
mac下使用puppeteer-core demo
Coffee coder
06-03 1464
因为本来电脑就有chrome，不想puppeteer装多一个chrome，于是只安装了puppeteer-core，那就需要在launch的时候，传入executablePath来指定chrome浏览器。因此，只要跑一次，手动登录一下，下回再跑脚本，就不需要手动登录了。当然，如果目标系统有做一些时效处理的话，可能下回再跑脚本，缓存过期还是得手动登录了。许久没用过puppeteer了，最近看了篇文章，貌似能解决puppeteer访问一些需要登录的系统时每次都要手动登录的麻烦。
chrome browser 70.0.3538.80_pyppeteer的Browser类及其BrowserContext类
weixin_39894778的博客
11-30 455
在昨天的文章中《Python中与selenium齐名的pyppeteer库》我们对pyppeteer做了一个大致的介绍，后面将pyppeteer作为一个系列来讲，大致按照文档的思路来，再配合一些实践代码，来达到深入理解的目的。启动器import asynciofrom pyppeteer import launchasync def main(): browser = await launc...
python 自动化学习(四） pyppeteer 浏览器操作自动化
默子昂
08-16 6374
1、selenium //跨浏览器，官方维护的比较好，资料也多，各个版本比较稳定，源码读起来舒服//缺点是配置时需要留心程序语言的版本和驱动版本以及浏览器版本，还有就是本身不支持步//需要重写源码或者利用grid分布式来实现异步2、pyppeteer //是基于chrome官方为chromium定制的自动化测试框架puppeteer而//实现的一个python包装的非官方版本框架，最后一次更新是在2018年//优点就是速度比selenium快，支持异步，常被拿来做爬虫，
Python爬虫实战：pyppeteer带你入门浏览器自动化
安装Chromium浏览器的方式有多种，一种常见的方法是使用pyppeteer自带的安装命令。 在pyppeteer的介绍中，还提到了如何将pyppeteer与Scrapy框架进行整合。Scrapy是Python中一个非常流行的爬虫框架，用于进行网站的...
python pyppeteer 关闭浏览器 close()
weixin_55399173的博客
11-12 1708
import pyppeteer import asyncio async def main(): browser = await pyppeteer.launch(headless=False, args=['--disable-infobars']) page = await browser.newPage() await page.setViewport({'width': 1366, 'height': 768}) await page.evaluateOnNew
爬虫：pyppeteer模拟浏览器
Evil_5的博客
12-22 284
from pyppeteer import launch import asyncio from loguru import logger BROWSER_WIDTH = 1920 # 1366 BROWSER_HEIGHT = 1080 # 850 OPTIONS = { 'headless': False, # 可以无头 # 'headless': True, 'slowMo': 1.3, # 'userDataDir': './userdata', '
Pyppeteer库之二：Pyppeteer的浏览器对象
weizhen11的博客
10-11 3213
启动器Launcher 启动方式： launch :启动链接一个新的浏览器 content :链接已打开的浏览器，便于崩溃后重链 1 launch() pyppeteer.launch(options: dict = None, **kwargs: Any) -> Browser 启动一个新的浏览器，返回 Browser 类。接受字典或键值对的关键字配置参数。 常用参数： h...
python爬虫-pyppeteer常用API
Coding_CLearLove的博客
11-28 1554
API 介绍 启动器 pyppeteer.launcher.launch() 启动 Chrome 进程并返回浏览器实例 参数: 参数 类型 解释 ignoreHTTPSErrors bool 是否忽略 HTTPS 错误。默认为 False headless bool 无头模式下运行浏览器。默认为 True 除非 appMode 或 devtools 选项 True executablePath str 运行 Chromium 或 Chrome 可执行文件的路径，而不是默认捆绑的
pyppeteer的基本使用
热门推荐
Qwertyuiop2016的博客
06-17 1万+
最近在使用pyppeteer抓淘宝，同事使用JavaScript写调用puppeteer能完美运行。但我改成python就一直报这样一个错误： pyppeteer.errors.NetworkError: Protocol Error (Page.navigate): Session closed. Most likely the page has been closed 而代码中造成这样一个错误...
Python爬虫之puppeteer搭建远程服务器
墨痕诉清风的博客
09-03 1749
puppeteer的使用: 目前网上的大多数资料都是基于js进行开发，今天我们剑走偏锋，介绍python中针对该工具开发的第三方工具库pyppeteer,具体的api操作咱就不谈了，官网上有，不咋此赘述，我们直接阐述如何利用pyppeteer做一个远程浏览器服务程序。在该项目考虑到在项目的隔离性，我实在docker容器搭建的该服务端程序，首先首选你需要下载chrome-linux.zip,这是服务端程序必备的工具，好处是他不需要安装，直接解压放在你需要的目录即可（当然也有windows版本chrome-w
pyppeteer和selenium远程操控浏览器
weixin_44388373的博客
12-17 3824
1. 配置环境 Chrome浏览器是支持远程调试模式的。这个模式打开的情况下，Puppeteer或者Selenium可以通过websocket连上去，进而控制它。 首先我们来启动Chrome的远程调试端口。你需要找到Chrome的安装位置，在Chrome的地址栏输入chrome://version就能找到Chrome的安装路径，如下图所示： 有了这个以后，我们需要执行命令启动支持远程调试功能的Chrome。如果你的电脑是Mac，那么命令是： "/Applications/Google Chrome.app
Pyppeteer 的基本使用方法
Giyn
01-29 6430
什么是 Puppeteer？ 要想知道什么是 Pyppeteer，首先应该先了解一下 Puppeteer： Puppeteer 是 Google 基于 Node.js 开发的一个工具，拥有 Puppeteer 即可通过 JavaScript 来控制 Chrome 浏览器的一些操作，也可以用于网络爬虫上，其 API 极其完善，功能非常强大。 什么是 Pyppeteer？ Pyppeteer 是 Puppeteer 的 Python 实现，在 Pyppetter 背后也有一个类似 Chrome 浏览器的 Chr
Python 爬虫利器之 Pyppeteer 的用法
从事厨房信息化行业，万能对接所有点餐系统，kds，智能控菜，酒店协调软件
04-03 733
它实际上是 Puppeteer 的 Python 版本的实现，但他不是 Google 开发的，是一位来自于日本的工程师依据 Puppeteer 的一些功能开发出来的非官方版本。但 Selenium 用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的 Python Selenium 库，确实是不是很方便，另外如果要做大规模部署的话，环境配置的一些问题也是个头疼的事情。这个参数相对比较危险，慎用。
如何用selenium或pyppeteer来链接并打开指纹浏览器AdsPower
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
11-18 4776
本文是该专栏的第25篇，后面会持续分享python的爬虫干货知识，记得关注。一般来说，选择使用自动化工具来做爬虫算是一种退而求其次的方法，但是要注意的是，面对那种需要模拟登录进行操作，或者是需要模拟登录拿到cookie再交给协议请求来说，自动化的方法那就是爬虫攻城狮的首选了。做过自动化的朋友都熟悉，selenium自身没有浏览器的驱动，它需要浏览器的驱动支持，即WebDriver，而selenium想要打开某个浏览器，需要下载对应浏览器的驱动就可以，比如
pyppeteer 隐藏浏览器特征
07-14
在Pyppeteer中，可以通过修改浏览器的User-Agent来隐藏浏览器特征。User-Agent是浏览器发送给服务器的标识，可以模拟不同的浏览器和设备。 以下是隐藏浏览器特征的示例代码： ```python from pyppeteer import launch async def main(): browser = await launch() page = await browser.newPage() # 设置自定义User-Agent，隐藏浏览器特征 await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36') # 在这里进行其他操作... await browser.close() asyncio.get_event_loop().run_until_complete(main()) ``` 在上面的示例代码中，通过调用`page.setUserAgent()`方法设置了一个自定义的User-Agent，将浏览器特征隐藏起来。你可以根据需要修改User-Agent的内容。 需要注意的是，隐藏浏览器特征并不能完全阻止网站检测到你使用的是自动化工具，因为还有其他指纹识别技术可以用于检测。如果需要更高级的反检测措施，可能需要进一步研究和使用其他技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值