puppeteer遍历dom元素

最新推荐文章于 2024-08-09 16:21:20 发布
最新推荐文章于 2024-08-09 16:21:20 发布
阅读量4.5k 收藏 1
点赞数
分类专栏： puppeteer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ozhy111/article/details/89636657
版权

const c_descript = await page.$$eval('input',e=>{

var dd = {};

for( var i = 0;i<e.length;i++){

dd[i] = e[i].value

}

return dd;

});

 

console.log(c_descript);

ozhy111
关注
专栏目录
前端html2canvas和dom-to-image实现截图功能
MoMo@blog
07-28 799
前端截图功能html2canvas和dom-to-image
Puppeteer保存html,Puppeteer 爬取动态生成的网页实战
weixin_42515841的博客
06-25 902
Puppeteer 相关介绍与安装不过多介绍，可通过以下链接进行学习一、Puppeteer二、爬取动态网页1. 需求首先，了解下我们的需求: 爬取zoomcharts文档中 Net Chart 目录下所有访问连接对应的页面，并保存到本地2. 研究 ZoomCharts 文档页面结构首先，我们得研究透 ZoomCharts 页面如何加载，以及左侧导航的 DOM 树结构，才好进行下一步操作页面首次加载...
puppeteer php,puppeteer 页面爬取实例（元素遍历）
weixin_35181426的博客
04-01 776
内容提取const puppeteer = require('puppeteer');var url = process.argv.splice(2)[0];/*** 提取内容* /usr/local/bin/node get_cont.js 'http://www.baidu.com?id=456'** 返回 所有信息*/(async () => {const browser = aw...
puppeteer 页面遍历
u014775579的博客
06-25 260
很多时候我们需要遍历我们的页面来检查页面是否存在问题，以更好的保证可用性和安全性，所以遍历一个给定页面是比较通用的能力，是很多高级功能的基础。下面就介绍怎么使用puppeteer来实现页面遍历的功能。
如何使用 Puppeteer 和 Node.JS 进行 Web 抓取？
最新发布
wellshake的博客
08-09 953
Headlesschrome 在 Web 抓取中非常重要。本文将介绍使用 headlesschrome 和 Puppeteer 进行 Web 抓取的最详细步骤。
python中elements遍历_pytestpyppeteer：在pytest中运行pyppeteer
weixin_39789206的博客
11-26 253
pytest-pyppeteerpytest-pyppeteer[1]是我写的一个 pytest 插件，支持在 pytest 中运行pyppeteer[2]，起因是为了解决工作中的一个测试需求，现在将其开源并做简单介绍。背景为什么不用 selenium？主要的原因是 selenium 的配置比较繁琐，最常见的问题是需要保持 webdriver 和浏览器版本的一致性。pyppeteer 的...
node puppeteer操作页面、获取页面内容
weixin_43294560的博客
03-14 1万+
1、获取页面内容,获取dom对象使用,page.$$eval()/$eval 本身是个promise对象,await 获取回调函数的返回值 其中: let x=await page.$/$$eval('选择器',回调函数(参数是dom对象)) 2、对页面进行点击等模拟用户操作，使用page.$()/page.$$(),返回一个ElementHandle， 封装了事件方法 ...
使用Puppeteer进行游戏数据可视化
ip16yun的博客
09-04 1245
英雄联盟是一款由Riot Games开发和运营的多人在线竞技游戏，拥有数亿玩家和观众。游戏中有超过150种不同的英雄，每个英雄都有自己的特点和技能。为了了解每个英雄的热度和胜率，我们可以使用Puppeteer爬取官方网站上的数据，并用ECharts进行可视化。通过上面的代码，我们可以使用Puppeteer进行游戏数据的爬取和可视化，得到一个类似于下图的结果。我们可以从中发现一些有趣的现象，比如热度和胜率之间的关系，以及哪些英雄是最受欢迎或者最强势的。
详解Puppeteer前端自动化测试实践
10-17
使用 Puppeteer 编写的测试用例通常是高阶的，它们能模拟用户的真实行为，而不仅仅是检查特定的 DOM 元素。这种测试方式使得测试用例更具通用性，减少了每次新增功能或页面时修改测试用例的工作量。通过将测试分解为...
使用Puppeteer爬取微信文章的实现
12-20
- `waitUntil: 'domcontentloaded'`确保页面的DOM内容已加载完毕，可以进行进一步操作。 - 使用`$eval()`方法在页面上下文中执行JavaScript代码，获取网页标题（微信文章通常包含在`<meta property="og:title">`或...
结合项目来谈谈 Puppeteer
zdplife的专栏
08-01 5281
Puppeteer 是 Chrome 开发团队在 2017 年发布的一个 Node.js 包，用来模拟 Chrome 浏览器的运行。我们团队从 Puppeteer 刚发布出来就开始成为忠实用户了（主要是因为 PhantomJs 坑太多了），本文主要在介绍 Puppeteer 的同时，结合我们平时的实践做一个分享。 学习 Puppeteer 之前我们先来了解一下 Chrome DevTool Pro...
使用 Puppeteer 获取class为grid-header clearfix下的a标签值和链接
weixin_35755188的博客
12-28 153
使用 Puppeteer 获取 class 为 grid-header clearfix 下的 a 标签值和链接，可以使用如下代码： const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await browser.n...
【爬虫】学习：Pyppeteer
myaijarvis notebook
12-26 638
和selenium一样好用 基础 python3网络爬虫开发实战第二版——7.4 GitHub # demo1 import asyncio from pyppeteer import launch from pyquery import PyQuery as pq async def main(): browser=await launch(headless=False) # 启动一个浏览器 默认开启无界面模式 asyncio.sleep(5) page=await brows
puppeteer 爬虫实例（两种循环抓取列表信息的方法）
wbj16116的博客
03-19 5544
const puppeteer = require(‘puppeteer’); (async () =&gt; { const browser = await puppeteer.launch({ headless: false, devtools: true, timeout: 0 }); //默认超时时间为30000如...
获取dom节点的五种方式
m0_57091576的博客
04-28 1641
获取dom节点的五种方式: 1. document.getElementById("标签的id名") 返回获取到的标签节点对象 此种方式没有兼容问题 2.document.getElementsByTagName("标签名") 根据标签的名字获取多个 节点对象 返回伪数组(伪数组 不能直接进行dom操作 必须取出其中元素才可以操作) 注意!!!!!!!! 无论根据标签获取的是单个元素 还是一堆元素 都返回的是伪数组对象 不能直接dom操作 这个
Puppeteer调用page对象evaluate方法产生的Execution context was destroyed错误处理
Revivedsun的专栏
12-07 1万+
Execution context was destroyed产生的场景 在NodeJs中使用Puppeteer中Page对象的evaluate方法执行脚本，深入使用后一定遇到过Error: Execution context was destroyed 错误。这通常发生在浏览器正在执行一个任务，紧接使用方并发提交了另一个脚本到浏览器，导致浏览器发生跳转。这时第一次提交的任务会抛出异常，产生该错误...
获取元素的所有内容
huzijia888的博客
11-27 785
function fire(){ var ii=document.getElementById("haha"); alert(ii.outerHTML);//outerHTML获取元素本身及元素标签内部的内容 }
Puppeteer 使用教程-基础篇（超详细、超全面）
热门推荐
~朴：shu的博客
07-17 1万+
Puppeteer 是一个 Node 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chromium 或 Chrome。本文涉及了Puppeteer常见常用的API样例，包括爬取图片、视频、cookies设置，字符输入等多方面知识，很全面哦。
nodejs爬虫puppeteer框架设计思想与应用
qq_24829537的博客
03-03 1263
关于nodeJS爬虫框架puppeteer的主要设计思想和使用的流程，可以帮你避开一些坑。
puppeteer 如何判断点击元素是否成功
09-25
### 回答1： Puppeteer 中可以使用 `page.click()` 方法来点击元素，在调用该方法后可以使用 `page.waitForNavigation()` 方法来判断点击是否成功。该方法会等待页面完成跳转，并返回一个 promise 对象，可以使用 `.then()` 方法来获取跳转后的页面信息。 代码示例: ``` await page.click('#myButton'); await page.waitForNavigation().then(() => { console.log('点击成功'); }); ``` 如果需要等待页面中某个元素出现或消失时使用 `page.waitForSelector()` and `page.waitForSelector()` ``` await page.click('#myButton'); await page.waitForSelector('#success-message', {visible: true}) console.log('点击成功'); ``` 这里有一些其他等待页面变化的方法，可以根据实际情况选择使用 - `page.waitForNavigation()` - `page.waitForResponse()` - `page.waitForRequest()` - `page.waitForFunction()` ### 回答2： Puppeteer 是一个通过控制和操作浏览器来进行自动化测试和爬取数据的工具，它可以模拟用户操作浏览器并截取网页内容。当使用 Puppeteer 进行点击操作时，我们可以使用下面的方法来判断点击元素是否成功： 1. 使用 page.waitForNavigation() 方法等待页面跳转。在点击元素后，如果页面会发生跳转，我们可以通过该方法等待页面完成跳转，这样就可以判断点击是否成功。例如： ``` await Promise.all([ page.waitForNavigation({ waitUntil: 'networkidle0' }), // 等待页面跳转完成 page.click('selector') // 点击元素 ]); ``` 2. 使用 page.waitForSelector() 方法等待元素出现。通过等待元素在 DOM 中出现，我们可以判断点击事件是否成功。例如： ``` await Promise.all([ page.waitForSelector('selector'), // 等待元素出现 page.click('selector') // 点击元素 ]); ``` 3. 使用 page.evaluate() 方法判断点击后的页面变化。使用该方法可以在当前页面中执行 JavaScript 代码，我们可以通过执行一段代码来判断点击事件是否成功。例如： ``` await page.evaluate(() => { const element = document.querySelector('selector'); // 查找元素 if (element === null) { throw new Error('Element not found'); // 如果元素未找到，抛出错误 } element.click(); // 点击元素 }); ``` 通过以上方法，我们可以在 Puppeteer 中判断点击元素是否成功。根据需要可以使用其中的一种或多种方法来进行验证。 ### 回答3： Puppeteer 是一个用于控制 Chrome 或 Chromium 浏览器的 Node.js 库，提供了对页面的操作和控制能力。 在 Puppeteer 中，要判断点击元素是否成功，可以通过以下步骤： 1. 使用 `page.click()` 方法模拟点击操作。该方法接受一个字符串选择器作为参数，表示要点击的元素。如`await page.click('#myButton')`。 2. 等待点击操作完成。在 Puppeteer 中，可以使用 `page.waitForNavigation()` 方法等待页面导航完成，或者使用 `page.waitForSelector()` 方法等待页面中的某个元素加载完成。例如，`await page.waitForNavigation()` 或者 `await page.waitForSelector('#myElement')`。 3. 判断点击是否成功。在点击操作完成后，可以进一步验证页面是否发生了预期的变化。可以使用 `page.$eval()` 方法或其他相应的页面方法来获取某个元素的属性或内容，并与预期的结果进行比较。如`const elementText = await page.$eval('#myElement', el => el.innerText);` 总结来说，要判断点击元素是否成功，可以模拟点击操作，并等待页面的导航或元素加载完成。然后，通过验证相应的元素属性或内容，来判断点击操作是否生效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值