前端神器之PuppeteerJs(Node爬虫)

最新推荐文章于 2024-07-05 11:06:13 发布

weixin_34037977

最新推荐文章于 2024-07-05 11:06:13 发布

阅读量816

点赞数

文章标签：爬虫

原文链接：https://juejin.im/post/5cdaccbb51882568403bf4d9

版权

本文介绍了如何使用Puppeteer进行前端爬虫操作，包括Puppeteer的安装，解决没有外网环境下chromium的下载问题，以及如何启动浏览器实例、创建新页面、进入指定网页并截图的基本步骤。

摘要由CSDN通过智能技术生成

注意点：

node版本要求(官网要求至少6.4)，建议最好最低在8.x版本以上(使用nvm或nvs安装LTS版即可)，因为高版本的nodejs对一些新的js特性有很好的支持。
puppeteer自动下载的chromium连接是外网链接，需要外网才能下载下来，如果没用外网去安装，会报如下错误：

这个错误告诉你设置环境变量跳过下载chromium，从而只安装模块：

# 设置环境变量跳过下载 Chromium  
set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1 
npm i -S puppeteer

# 或者可以这样干，只下载模块而不build
npm i --save puppeteer --ignore-scripts

关注