Puppeteer 爬虫学习

puppeteer简介：

Puppeteer 是一个 Node 库，它提供了一个高级 API 来通过 DevTools 协议
控制 Chromium 或 Chrome。Puppeteer 默认以 headless 模式运行，
但是可以通过修改配置文件运行“有头”模式。

能作什么？：
生成页面 PDF。
抓取 SPA（单页应用）并生成预渲染内容（即“SSR”（服务器端渲染））。
自动提交表单，进行 UI 测试，键盘输入等。
创建一个时时更新的自动化测试环境。 使用最新的 JavaScript 和浏览器功能直接在最新版本的Chrome中执行测试。
捕获网站的 timeline trace，用来帮助分析性能问题。
测试浏览器扩展。

这是中文puppeteer文档

实战：
一 安装：
安装nodejs, 再输入npm install puppeteer 安装这个库。注意puppeteer库有两个版本，一个是包含了chormedriver的puppeteer，另一个是不包含chormedriver的轻量级的puppeteer-core库。
再通过npm init 初始化一下。

二 代码
1、需求：我是打算通过关键字输入去爬取百度图片。
2、关键点：①通过合适的selector去获取到相应的元素 ②这个图片是分组的，需要分多个组,每个组的图片数目还不一样 ③需要定时的滑动页面去刷新数据
3、大致代码逻辑
①通过config 中的Dogconfig.js去获取存储的路径
②通过screenshot.js去实现爬取的主要图片的链接
③通过utils中的srcToimg去实现通过链接将图片存储在本地的目录中

Dogconfig.js

const path =require('path');

module.exports={
    Dogscreenshot: path.resolve(__dirname,'../Dogscreenshot')
}

screenshot.js

const puppeteer = require('puppeteer');
const {screenshot} =require('./config/default');
const { Dogscreenshot } = require('./config/Dogconfig');
const srcToimg =require('./utils/srcToimg')


function sleep (ms) {
    return new Promise(resolve => setTimeout(resolve, ms))
  }  //sleep函数


async function autoScroll(page) {    //滚动界面
    return page.evaluate(() => {
      return new Promise((resolve, reject) => {
        let totalHeight = 0;
        let distance &#