使用puppeteer进入网站模拟登陆然后抓取特定网页内容

puppeteer爬虫

目的：使用puppeteer进入网站模拟登陆然后抓取特定网页内容

开发环境windows、npm、node

puppeteer文档地址

• puppeteer.launch（）启动 Chromium 实例

  const puppeteer = require('puppeteer'); //头部引入puppeteer包
   const browser = await puppeteer.launch({
       //返回一个浏览器实例
        headless: true, //true 时不打开浏览器false时打开浏览器可以观察运行情况
        slowMo: 20
    })
  

• browser.newPage()

  const page = await browser.newPage();//返回打开当前页面的实例
  

• page.goto(url)

  /*
  *@url 网站 的地址
  */
  await page.goto(url);//打开特定网站
  

• page.evaluate(pageFunction[, …args])

  • pageFunction <function|string> 要在页面实例上下文中执行的方法
  • …args <…Serializable|JSHandle> 要传给 pageFunction 的参数
  • 返回: <Promise> pageFunction执行的结果

  我没有使用这个方法处理页面的DOM而是使用的 jsdom包处理的页面DOM操作

• page.click(selector[, options])

  • selector 要点击的元素的选择器。 如果有多个匹配的元素, 点击第一个。
  • options
    • button left, right, 或者 middle, 默认是 left。
    • clickCount 默认是 1. 查看 UIEvent.detail。
    • delay mousedown 和 mouseup 之间停留的时间，单位是毫秒。默认是0
  • 返回: Promise对象，匹配的元素被点击。 如果没有元素被点击，Promise对象将被rejected。

  此方法找到一个匹配 selector 选择器的元素，如果需要会把此元素滚动到可视，然后通过 page.mouse 点击它。 如果选择器没有匹配任何元素，此方法将会报错。

  要注意如果 click() 触发了一个跳转，会有一个独立的 page.waitForNavigation() Promise对象需要等待。 正确的等待点击后的跳转是这样的：

  await page.click('#form-out a.hover'),
  // 当点击的是跳转链接时
  await Promise.all([
    page.click('#denglu'),
    page.waitForNavigation()
  ]);
  

  根据我实际的测试该方法会经常报错可以使用page.waitFor()进行跳转等待

• page.waitFor()

   /*
   *@time等待时间
   */
   await page.waitFor(time);
  

• browser.pages()

  let pages=await browser.pages();//返回当前打开的浏览器窗口数
  

  浏览器打开时会首先打来一个空白窗口所以窗口数会算上初始化的空白窗口

• page.waitForSelector(selector[, options])

  • selector 要等待的元素选择器
  • options 可选参数：
    • visible 等元素出现在dom中并且可以看到, 比如。 没有 display: none 或者 visibility: hidden 样式。 默认是 false。
    • hidden 等元素在dom中消失或看不到, 比如。 有 display: none 或者 visibility: hidden 样式。 默认是 false。
    • timeout 最大等待时间，单位是毫秒，默认是30000 (30 seconds)，传0表示不会超时
  • 返回: <Promise> Promise对象，当指定选择器匹配的元素添加到dom中时resolve

  await pages[2].waitForSelector('.he