Node.js 库 Puppeteer 网页爬取

本文介绍了Google开发的Puppeteer库,如何利用Node.js控制Chromium或Chrome浏览器进行自动化测试、网页抓取和截图。通过示例展示了如何使用Puppeteer打开网页并获取标题,以实现各种浏览器操作任务的自动化。
摘要由CSDN通过智能技术生成

Puppeteer 是一个由 Google 开发的 Node.js 库,用于控制 Chromium 或 Chrome 浏览器进行自动化测试、网页截图、网页爬取等操作。它提供了一组 API,让你可以在浏览器环境中模拟用户的行为,比如点击、填写表单、导航等。

以下是一个简单的例子,演示如何使用 Puppeteer 打开一个网页,并获取网页标题:

const puppeteer = require('puppeteer');

// 启动浏览器
(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // 打开网页
  await page.goto('https://www.example.com');

  // 获取网页标题
  const pageTitle = await page.title();
  console.log('网页标题:', pageTitle);

  // 关闭浏览器
  await browser.close();
})();

在这个例子中,首先通过 require('puppeteer') 导入了 Puppeteer 库。然后使用 puppeteer.launch() 启动了一个浏览器实例,并通过 browser.newPage() 创建了一个新的页面。接着,使用 page.goto() 打开了一个网页(这里以示例网站 https://www.example.com 为例)。然后通过 page.title() 方法获取了网页的标题,并输出到控制台。最后,调用 browser.close() 方法关闭了浏览器。

通过 Puppeteer,你可以方便地控制浏览器进行各种操作,从而实现自动化测试、网页截图、网页爬取等任务。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值