Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。
Puppeteer本身依赖6.4以上的Node,但是为了异步超级好用的async/await,推荐使用7.6版本以上的Node。
安装 npm i puppeteer
使用。这里我试过用来爬去生成图片,模拟手机,生成pdf都试过很好用。一般情况下我们主要用来爬去数据来分析数据,这里我自己学习react写demo就用了整个东西来爬取网站数据自用。地址简书分类数据,比如我现在要爬这些全部的数据