dart用puppeteer从web页抓取数据前需先调用page.waitForSelector

最新推荐文章于 2024-09-02 10:24:21 发布

gaoyp

最新推荐文章于 2024-09-02 10:24:21 发布

阅读量909

点赞数

分类专栏： Flutter 文章标签： dart flutter puppeteer evaluate waitForSelector Powered by 金山文档

本文链接：https://blog.csdn.net/gaoyp/article/details/128749499

版权

Flutter 专栏收录该内容

65 篇文章 1 订阅

订阅专栏

文章讲述了在使用Puppeteer进行Web自动化时，如何通过waitForSelector等待页面元素加载，然后使用evaluate安全地提取数据。即使waitForSelector选择器与evaluate中的目标元素无关，也要确保页面加载完毕，以避免获取不到数据的情况。

摘要由CSDN通过智能技术生成

在调用page.evaluate执行js从页面取数据之前，需要先page.waitForSelector，waitForSelector的参数貌似和page.evaluate中要抓取的内容没关系也可以，关键是调用page.waitForSelector等待web页加载完成后再调用page.evaluate，否则有可能取不到数据。


 //这儿好像select什么都可以，关键是等一会儿页面加载，
 //否则下面执行page.evaluate时，页面好像还没有加载完。
 await page.waitForSelector("meta[name='description']");

desc = await page.evaluate(
  r'''resultsSelector => {
      const metas = document.getElementsByTagName('meta');

      for (let i = 0; i < metas.length; i++) {
        if (metas[i].getAttribute('name') === 'description') {
          return metas[i].getAttribute('content');
        }
      }
      
      return null;
    }''',
);