使用puppeteer爬取数据

最新推荐文章于 2024-08-13 08:37:52 发布

_magnolia

最新推荐文章于 2024-08-13 08:37:52 发布

阅读量1k

点赞数

分类专栏：前端

本文链接：https://blog.csdn.net/qq_41574134/article/details/103630905

版权

本文介绍了如何使用Puppeteer进行网页爬虫操作，包括设置环境、进行网页截屏和爬取网页数据。通过示例代码展示了如何抓取豆瓣音乐排行榜的前十大数据，Puppeteer不仅限于数据爬取，还可用于生成页面PDF、UI自动化测试和性能分析。

摘要由CSDN通过智能技术生成

使用puppeteer爬取数据

使用教程

使用教程

Puppeteer 是一个 Node 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chromium 或 Chrome。Puppeteer 默认以 headless 模式运行，但是可以通过修改配置文件运行“有头”模式。

环境安装

npm i puppeteer
# or 
yarn add puppeteer

Note: 当你安装 Puppeteer 时，它会下载最新版本的Chromium（~170MB Mac，~282MB Linux，~280MB Win），以保证可以使用 API。

简单使用

puppeteer的用途不单单只有爬取数据，除此之外他还能
①生成页面PDF或截图
②UI自动化测试
③性能分析

截屏

screenshot.js

const puppeteer = require('puppeteer');
const {
    screenshot } = require('./config/default');
//config里面设置图片存放地址

(async () => {
   
  //执行函数需要包裹在(async...)()里异步执行，因为返回对象是promise
  const browser = await puppeteer.launch();
  //创建浏览器对象
  const page = await browser.newPage();
  //创建页面
  await page.goto('https://www.bilibili.com/');
  //需要截屏的网站
  await page.setViewp