-
生成页面的屏幕截图和PDF。
-
爬取SPA(单页应用程序)并生成预渲染的内容(即“ SSR”(服务器端渲染))。
-
自动执行表单提交,UI测试,键盘输入等。
-
创建最新的自动化测试环境。使用最新的JavaScript和浏览器功能,直接在最新版本的Chrome中运行测试。
-
捕获站点的时间线跟踪以帮助诊断性能问题。
-
测试Chrome扩展程序。
同时也看了一些同学的评价,觉得这个东西是非常的amazing啊!虽然我还没有深入去了解全部的API,但是也算是懂得大概的流程。大家如果官方的文档看不懂的话可以去B站看一下基本的介绍,puppeteer系列教程。
puppeteer安装
关于这个安装的事情真的是非常的头疼,搞了许久才安装成功。原因就是高高的围墙使得城内的人出不去。所以我们只有换另外一种方法来安装了。
我们直接npm安装的过程默认是要下载浏览器的
,我就是在这里一直卡住然后报错,试了好几次都是这样。经过网友们的介绍我们是可以不用在安装puppeteer的时候下载浏览器的,我们可以事后才去下载
。
env PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=true npm i puppeteer
我们这样就可以成功安装puppeteer了,接下来我们就要去手动安装浏览器了。那么我们要去哪里下载呢?我要手动下载
这里面非常多的版本号,看了网上的教程我们要选择合适的版本号(不知道随便下载一个可不可以),我们回到项目的根目录下面node_modules/puppeteer/package.json
这个目录,查看一下我们的浏览器版本是多少。
我这里就是现实737027的版本号,我们就去手动下载这个浏览器就可以了。大家可以根据自己的版本进行下载。
浏览器引用
我们光安装了之后还不行,还要进行浏览器的引入
。这个也是非常的头疼,看了好多的教程都不可以。可能是他们的系统不一样,在这里折腾很久都想放弃了。还好有这篇文章解决了我的问题,我知道是路径有误但我不知道怎么写。
浏览器下载之后我们就解压放到根目录下面,与package.json同级。然后我们在根目录下新建一个index.js文件。
const puppeteer = require(“puppeteer”);
const fs = require(“fs”);
const request = require(“request”);
const path = require(“path”);
//配置路径,关键!
const pathToExtension = require(“path”).join(
__dirname,
“./chrome-win/chrome.exe”
);
最后我的项目目录:
我们都设置好了之后我们就开始选取一个网站进行测试了,我这里就选择了这个来爬取图片。
其实我们知道万物皆可爬,只要分析对了就好。前端最熟悉不过的F12走一波就好。看了一下大概结构是长这样的,准备好了之后开始撸码。
反手一写(CV)就出来这样的代码。
const puppeteer = require(“puppeteer”);
const fs = require(“fs”);
const request = require(“request”);
const path = require(“path”);
let i = 2;//页数
async function netbian(i) {
const pathToExtension = require(“path”).join(
__dirname,
“./chrome-win/chrome.exe”
);
const browser = await puppeteer.launch({
headless: false,
executablePath: pathToExtension,
});
const page = await browser.newPage();
await page.goto(http://pic.netbian.com/4kfengjing/index_${i}.html
);//为了方便从第二页开始
let images = await page.$$eval(“ul>li>a>img”, (el) =>//图片节点,API可查看官方介绍
el.map((x) => “http://pic.netbian.com” + x.getAttribute(“src”))//获取图片的src地址
);
mkdirSync(./images
); // 存放目录
for (m of images) {
await downloadImg(m, “./images/” + new Date().getTime() + “.jpg”);
}
netbian(++i);//下一页,具体结束页可以自己限制
// 关闭
await browser.close();
}
netbian(i);//这里执行
// 同步创建目录
function mkdirSync(dirname) {
if (fs.existsSync(dirname)) {
return true;
} else {
if (mkdirSync(path.dirname(dirname))) {
fs.mkdirSync(dirname);
return true;
}
}
最后
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此收集整理了一份《2024年Web前端开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点!不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
盖了95%以上Android开发知识点!不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!**
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!