使用puppeteer爬取数据

使用教程

Puppeteer 是一个 Node 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chromium 或 Chrome。Puppeteer 默认以 headless 模式运行，但是可以通过修改配置文件运行“有头”模式。

环境安装

npm i puppeteer
# or 
yarn add puppeteer

Note: 当你安装 Puppeteer 时，它会下载最新版本的Chromium（~170MB Mac，~282MB Linux，~280MB Win），以保证可以使用 API。

简单使用

puppeteer的用途不单单只有爬取数据，除此之外他还能
①生成页面PDF或截图
②UI自动化测试
③性能分析

截屏

screenshot.js

const puppeteer = require('puppeteer');
const {
    screenshot } = require('./config/default');
//config里面设置图片存放地址

(async () => {
   
  //执行函数需要包裹在(async...)()里异步执行，因为返回对象是promise
  const browser = await puppeteer.launch();
  //创建浏览器对象
  const page = await browser.newPage();
  //创建页面
  await page.goto('htt