2024年最新如何结合Node和Puppeteer做网络爬虫，2024年最新2024国内知名大厂Python岗面经

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

• 自动执行表单提交，UI测试，键盘输入等。

• 创建最新的自动化测试环境。使用最新的JavaScript和浏览器功能，直接在最新版本的Chrome中运行测试。

• 捕获站点的时间线跟踪以帮助诊断性能问题。

• 测试Chrome扩展程序。

同时也看了一些同学的评价，觉得这个东西是非常的amazing啊！虽然我还没有深入去了解全部的API，但是也算是懂得大概的流程。大家如果官方的文档看不懂的话可以去B站看一下基本的介绍，puppeteer系列教程。

02 安装过程

---

puppeteer安装

关于这个安装的事情真的是非常的头疼，搞了许久才安装成功。原因就是高高的围墙使得城内的人出不去。所以我们只有换另外一种方法来安装了。

我们直接npm安装的过程默认是要下载浏览器的，我就是在这里一直卡住然后报错，试了好几次都是这样。经过网友们的介绍我们是可以不用在安装puppeteer的时候下载浏览器的，我们可以事后才去下载。

env PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=true npm i puppeteer

我们这样就可以成功安装puppeteer了，接下来我们就要去手动安装浏览器了。那么我们要去哪里下载呢？我要手动下载

这里面非常多的版本号，看了网上的教程我们要选择合适的版本号（不知道随便下载一个可不可以），我们回到项目的根目录下面node_modules/puppeteer/package.json这个目录，查看一下我们的浏览器版本是多少。

我这里就是现实737027的版本号，我们就去手动下载这个浏览器就可以了。大家可以根据自己的版本进行下载。

浏览器引用

我们光安装了之后还不行，还要进行浏览器的引入。这个也是非常的头疼，看了好多的教程都不可以。可能是他们的系统不一样，在这里折腾很久都想放弃了。还好有这篇文章解决了我的问题，我知道是路径有误但我不知道怎么写。

浏览器下载之后我们就解压放到根目录下面，与package.json同级。然后我们在根目录下新建一个index.js文件。

const puppeteer = require(“puppeteer”);

const fs = require(“fs”);

const request = require(“request”);

const path = require(“path”);

//配置路径，关键！

const pathToExtension = require(“path”).join(

__dirname,

“./chrome-win/chrome.exe”

);

最后我的项目目录：

03 选择网站

---

我们都设置好了之后我们就开始选取一个网站进行测试了，我这里就选择了这个来爬取图片。

其实我们知道万物皆可爬，只要分析对了就好。前端最熟悉不过的F12走一波就好。看了一下大概结构是长这样的，准备好了之后开始撸码。

反手一写（CV）就出来这样的代码。

const puppeteer = require(“puppeteer”);

const fs = require(“fs”);

const request = require(“request”);

const path = require(“path”);

let i = 2;//页数

async function netbian(i) {

const pathToExtension = require(“path”).join(

__dirname,

“./chrome-win/chrome.exe”

);

const browser = await puppeteer.launch({

headless: false,

executablePath: pathToExtension,

});

const page = await browser.newPage();

await page.goto(http://pic.netbian.com/4kfengjing/index_${i}.html);//为了方便从第二页开始

let images = await page.$$eval(“ul>li>a>img”, (el) =>//图片节点，API可查看官方介绍

el.map((x) => “http://pic.netbian.com” + x.getAttribute(“src”))//获取图片的src地址

);

mkdirSync(./images); // 存放目录

for (m of images) {

await downloadImg(m, “./images/” + new Date().getTime() + “.jpg”);

}

netbian(++i);//下一页，具体结束页可以自己限制

// 关闭

await browser.close();

}

netbian(i);//这里执行

// 同步创建目录

function mkdirSync(dirname) {

if (fs.existsSync(dirname)) {

return true;

} else {

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！