Node.js中基于谷歌无头浏览器工具puppteer实现网络爬虫，爬取拉勾网招聘数据

一、介绍

无头浏览器（Headless Browser），顾名思义是没有显示用户图形界面的浏览器，在其他方面与普通浏览器并无区别，只是将原来通过键盘鼠标触发的操作事件转为由代码执行。无头浏览器最初用于自动化测试中，但其特性十分适合爬虫实现，如今也是一种不错的爬虫实现方式。

无头浏览器的实现工具除了puppteer还有selenium和phantomjs，选择puppteer的主要原因是因为它由谷歌公司推出，基于Chrome或Chromium，且仍在维护。

 

二、实现准备

本项目在Node.js中实现，自然要先 npm i puppeteer安装依赖包，但它同时会下载对应版本的Chromium，个人尝试过程中npm下载会在下载Chromium时卡很久，使用cnpm则最终提示下载失败。电脑中已下载了Chrome浏览器的话可以选择不下载，直接使用该Chrome运行。方法就是在安装puppeteer前执行以下命令：

npm config set puppeteer_skip_chromium_download = 1

除此之外网上有通过修改npm配置文件来避免下载Chromium的方法，个人尝试后没有生效。

在安装完毕进行使用时，page.evaluate中的选择器无法使用，额外安装了jQuery便可以了，不太清楚具体原因，有同样问题的同学可以尝试。

 

三、代码实现

首先确定的爬取目标是拉勾网，因为自己已经通过node-crawler模块实现了一个爬虫，对puppteer只是简单的尝试，