关于 pupperteer 爬虫

Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。

Puppeteer本身依赖6.4以上的Node，但是为了异步超级好用的async/await，推荐使用7.6版本以上的Node。

安装 npm i puppeteer

使用。这里我试过用来爬去生成图片，模拟手机，生成pdf都试过很好用。一般情况下我们主要用来爬去数据来分析数据，这里我自己学习react写demo就用了整个东西来爬取网站数据自用。地址简书分类数据，比如我现在要爬这些全部的数据