pyppeteer 等待多个元素中的一个

最新推荐文章于 2023-08-16 16:32:57 发布
最新推荐文章于 2023-08-16 16:32:57 发布
阅读量151 收藏
点赞数
分类专栏： 笔记 python 文章标签： javascript html 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nongcunqq/article/details/129815846
版权
python 同时被 2 个专栏收录
338 篇文章 0 订阅
订阅专栏
笔记
327 篇文章 3 订阅
订阅专栏 
import asyncio
from pyppeteer import launch

async def find_report_element():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('https://example.com')
    await page.waitForSelector('div[widgetname=REPORT2], div[widgetname=REPORT2_c_c]')
    report_element = await page.querySelector('div[widgetname=REPORT2], div[widgetname=REPORT2_c_c]')
    await browser.close()
    return report_element

report_element = asyncio.get_event_loop().run_until_complete(find_report_element())
nongcunqq
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
selenium之显示等待(等到某个元素出现后再继续执行)
weixin_42636075的博客
08-22 7201
selenium之显示等待(等到某个元素出现后再继续执行) 等待元素出现
python+playwright 学习-73 page.wait_for_selector()等待元素到达指定状态
qq_27371025的博客
08-19 1267
前言 网页上的元素有不同状态，有些元素本来不在DOM里，点击某个按钮后才出现。 有些元素是本来就已经在DOM里是隐藏的状态，点某个按钮后才变成显示状态。 如果我们想让元素到达指定的状态再下一步操作，可以用page.wait_for_selector() 方法。 page.wait_for_selector() 方法 wait_for_selector() 方法部分源码 def wait_for_...
python pyppeteer 切换页面
weixin_55399173的博客
11-13 1692
import asyncio import pyppeteer async def main(): browser = await pyppeteer.launch(headless=False, args=['--disable-infobars']) page = await browser.newPage() await page.setViewport({'width': 1366, 'height': 768}) await page.evaluateOnNe
python中selenium如何等待网页加载完毕_超越selenium的爬虫神器Pyppeteer
weixin_39602637的博客
11-29 1635
在写爬虫的时候，为了效率我们通常会选择解析网页api来获取数据，但是有时候解析方式比较困难，或者我们纯粹是为了快速实现爬虫，会使用浏览器自动化操作，说起这一点，肯定第一个想到的就是selenium，但很多时候其实selenium使用起来是不太方便的，例如环境配置，要安装浏览器、下载对应的驱动、安装对应的Python selenium库，而且各个工具的版本还要匹配，大规模部署时就比较麻烦。 下面我...
python 自动化学习(四） pyppeteer 浏览器操作自动化
默子昂
08-16 5851
1、selenium //跨浏览器，官方维护的比较好，资料也多，各个版本比较稳定，源码读起来舒服//缺点是配置时需要留心程序语言的版本和驱动版本以及浏览器版本，还有就是本身不支持步//需要重写源码或者利用grid分布式来实现异步2、pyppeteer //是基于chrome官方为chromium定制的自动化测试框架puppeteer而//实现的一个python包装的非官方版本框架，最后一次更新是在2018年//优点就是速度比selenium快，支持异步，常被拿来做爬虫，
python爬虫神器Pyppeteer入门及使用
09-19
Pyppeteer的最大优点之一是其基于Asyncio的异步特性，这使得爬取多页面时无需等待页面加载完毕即可继续处理下一个页面，极大地提高了爬虫的速度和效率。 ##### 实现步骤 假设我们需要从某个网站上爬取多个基金的...
pyppeteer 定位js 动态添加的元素
05-28
使用 pyppeteer 定位 js 动态添加的元素，可以通过以下步骤实现： ...注意，如果目标元素在多个框架中出现，则需要使用 `frame.waitForSelector()` 和 `frame.evaluate()` 方法在目标框架中进行定位和获取。
Puppeteer之Pyppeteer-Pyppeteer基础用法入门(1)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
01-12 1887
很多人说，pyppeteer是比selenium更高效的爬虫库，其主要原因在于pyppeteer使用了python的异步协程库Asyncio，而它可结合Scrapy进行分布式爬虫。GitHub上面的地址，可查看如下：需要注意的是，pyppeteer采用了python的Async机制，所以其运行要求的python版本需要3.6以上。pip3 install Pyppeteer # 或者使用 pip install Pyppeteer这里补充一点，
Puppeteer之Pyppeteer-Pyppeteer鼠标和键盘操作用法(2)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
01-14 1828
所以在浏览器中绝大多数操作都可以使用Pyppeteer来完成，比如页面功能测试，自动提交表单，请求响应拦截，导出页面PDF，测试浏览器扩展等。熟悉selenium的同学都知道，很多平台有自动检测机制，如果单纯的靠页面定位元素去操作网站，并不是一种明智的选择。用过selenium的同学都清楚，简单的去定位页面元素并进行点击输入操作，对于存在反爬的网站，大部分都能检测出来selenium的自动操作行为，而产生各种验证码。所以，自动化操作想要规避网站的自动化检测机制，加入鼠标的操作，是必不可少的。
python如何校验页面元素是否加载完毕_爬虫（八十七）等待页面加载完成(Waits)...
weixin_42298645的博客
12-30 2582
现在的大多数的Web应用程序是使用Ajax技术。当一个页面被加载到浏览器时， 该页面内的元素可以在不同的时间点被加载。这使得定位元素变得困难， 如果元素不再页面之中，会抛出ElementNotVisibleException异常。使用 waits, 我们可以解决这个问题。waits提供了一些操作之间的时间间隔- 主要是定位元素或针对该元素的任何其他操作。Selenium Webdriver 提...
puppeteer怎么等到某个元素出现在页面中才执行程序？
m0_58201165的博客
01-30 2915
我想page.waitForNavigation应该是等待网页上的Navigation的触发，可以简单认为是网址改变，然后等待网址改变后网站加载到什么程度就是设置的waitUntil了。可以知道首先前往网站，然后有一个缓冲的过程，紧接着在相同的网址下加载出真正的内容。你可能会想设置一个很长的时间就是了，但还是有可能不够长，同时效率也很低，所以不是一个很好的方法。我想要的就是等到网站真正内容中的目录元素出现，也就是querySelectorAll的dom出现后再执行，那么就不会报出最开始的错误了。
Python之Selenium如何正确运用？案例详解
QQ2352108083的博客
05-28 449
Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。本节中，就让我们来感受一下它的强大之处吧。 1. 准备工作 本节以Chrome为例来讲解Selenium的用法。在开始之前，请确保已经正确安装好了Chrome浏览器并配置好了ChromeDriver。另外，还需要正确安装好Python的Selenium库，详细的安装和配置过...
puppeteer|自动化UI测试|JS|零基础入门（六）——等待waitFor
小彭爬坑之旅
03-04 6173
话不多说，上代码 //等待登陆按钮selector出现在页面中 await page.waitForSelector(SELECTOR.LOGIN_BTN) //页面等待3秒 await page.waitForTimeout(3000) //等待登录按钮XPath出现在页面中 await page.waitForXPath(XPATH.LOGIN_BTN) await page.goto(url) //等待页面加载完成 await page.waitForNavigation();
pyppeteer的基本使用
Qwertyuiop2016的博客
06-17 1万+
最近在使用pyppeteer抓淘宝，同事使用JavaScript写调用puppeteer能完美运行。但我改成python就一直报这样一个错误： pyppeteer.errors.NetworkError: Protocol Error (Page.navigate): Session closed. Most likely the page has been closed 而代码中造成这样一个错误...
pyppeteer 常规使用方法总结
weixin_41505223的博客
04-20 5842
pyppeteer github 地址：https://github.com/miyakogi/pyppeteer pyppeteer 英文文档地址：https://miyakogi.github.io/pyppeteer/ pyppeteer 官方文档 API Reference ：https://miyakogi.github.io/pyppeteer/reference.html pupp...
解决pyppeteer导航超时问题: pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded
热门推荐
qq_29570381的博客
05-01 3万+
使用pyppeteer的时候，有时候会遇到pyppeteer.errors.TimeoutError: Navigation Timeout Exceeded: 30000 ms exceeded这样的报错信息，目前发现有三个原因容易导致该错误 一 由于网速慢，或者访问国外的网站等原因，网页在30秒内没有加载完成，就会报导航超时错误 二 协程中乱用time.sleep(), 或者await asy...
基于pyppeteer实现最新版知乎模拟登陆
jay_wonder的博客
11-15 5497
现在还在爬知乎的同学，想必已经被知乎这个登陆搞得头大了吧，哈哈哈哈哈！！用selenium吧，不行，会被检测出来，用requests构造表单吧，提交的加密参数复杂，而且还不给出那些参数名，知乎的攻城狮为了反爬，很牛B好吧！！！我还试过用selenium结合mitmproxy去修改其中对webdriver检测的那部分js代码参数，以失败告终，可能是我没找对js代码。。。 没关系，现在有新方法可以搞定...
pyppeteer 等待xpath元素
最新发布
09-15
### 回答1： 在使用 Pyppeteer 等待 XPath 元素时，可以使用 `page.waitForXPath()` 方法。此方法将返回一个 Promise，直到指定的 XPath 元素出现为止。 以下是一个例子： ```python import asyncio from pyppeteer import launch async def main(): browser = await launch() page = await browser.newPage() await page.goto('https://example.com') # 等待 XPath 元素出现 xpath = '//h1[text()="Example Domain"]' await page.waitForXPath(xpath) # 获取元素并打印内容 element = await page.xpath(xpath) print(await element[0].getProperty('textContent')) await browser.close() asyncio.get_event_loop().run_until_complete(main()) ``` 在上述代码中，我们首先使用 `page.goto()` 方法导航到网页。然后，我们使用 `page.waitForXPath()` 方法等待指定的 XPath 元素出现。一旦元素出现，我们使用 `page.xpath()` 方法获取元素，并使用 `element[0].getProperty('textContent')` 获取元素的文本内容。最后，我们使用 `browser.close()` 方法关闭浏览器实例。 ### 回答2： 使用pyppeteer进行等待xpath元素的方法如下： 1. 首先，导入所需的库和模块： ```python import asyncio from pyppeteer import launch ``` 2. 创建一个异步函数，用于等待并返回指定xpath元素： ```python async def wait_for_xpath(xpath): browser = await launch() # 启动浏览器 page = await browser.newPage() # 创建新页面 await page.goto('https://example.com') # 打开要访问的网页 element = None # 初始化element变量 while element is None: try: element = await page.waitForXPath(xpath) # 等待指定xpath元素出现 except Exception as e: print(e) # 输出错误信息 await browser.close() # 关闭浏览器 return element # 返回找到的元素 ``` 3. 在主程序中调用等待函数： ```python xpath = '//*[@id="example_xpath"]' element = asyncio.get_event_loop().run_until_complete(wait_for_xpath(xpath)) # 等待并获取指定xpath元素 print(element) ``` 在上述代码中，我们首先使用pyppeteer启动一个浏览器并打开要访问的网页。然后，我们使用`waitForXPath()`函数等待指定的xpath元素出现，如果元素未出现，将会抛出异常，我们可以在异常处理中输出错误信息。最后，我们关闭浏览器并返回找到的元素。 请注意，由于pyppeteer是一个基于异步的库，我们需要使用`asyncio`来调用等待函数。在主程序中，我们使用`asyncio.get_event_loop().run_until_complete()`来异步调用等待函数，并获取最终的结果。 希望上述信息能对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值