puppeteer 初体验之爬虫与 UI 自动化

最新推荐文章于 2024-07-17 14:10:43 发布

置顶 big_big-world

最新推荐文章于 2024-07-17 14:10:43 发布

阅读量723

点赞数

分类专栏： MR.K在前端的平凡之路前端技术，学习文章标签：前端 chrome

本文链接：https://blog.csdn.net/qq_33150267/article/details/101035308

版权

前端同时被 3 个专栏收录

58 篇文章 0 订阅

订阅专栏

MR.K在前端的平凡之路

35 篇文章 3 订阅

订阅专栏

技术，学习

30 篇文章 1 订阅

订阅专栏

puppeteer科普

Puppeteer is a Node library which provides a high-level API to control Chrome or Chromium over the DevTools Protocol. Puppeteer runs headless by default, but can be configured to run full (non-headless) Chrome or Chromium.
从本质上来说，这货就是无需开启 chrome 浏览器来调用 Chrome 的功能！它将 Chromium 和 Blink 渲染引擎提供的所有现代 Web 平台的功能都带入了命令行。

headless chrome

Headless Chrome is shipping in Chrome 59. It’s a way to run the Chrome browser in a headless environment. Essentially, running Chrome without chrome! It brings all modern web platform features provided by Chromium and the Blink rendering engine to the command line

可以做什么

生成页面的屏幕截图和 PDF。

抓取 SPA（单页面应用程序）并生成预渲染内容（即“SSR”（服务器端渲染））。

自动化表单提交，UI 测试，键盘输入等。

创建最新的自动化测试环境。使用最新的 JavaScript 和浏览器功能直接在最新版本的 Chrome 中运行测试。

捕获网站的时间线跟踪，帮助诊断性能问题。

测试 Chrome 扩展程序

什么是爬虫

爬虫是一段自动获取网页内容的程序同时也是搜索引擎的重要组成部分

robots.txt 协议

robots.txt 是一种遵照爬虫排除标准创建的纯文本文件，由一条或多条规则组成。每条规则可禁止（或允许）特定抓取工具抓取相应网站中的指定文件路径
eg: http://www.dxy.cn/robots.txt
https://www.google.com/robots.txt

实现爬虫

作为一个程序员开始写代码之前一定要有信心，坚定一个信念：“万事开头难，然后中间难，结尾难”

installation

mkdir practice && cd practice
npm init && npm i -save puppeteer

其实对于使用爬虫来说，流程无外乎这四步

抓取数据
数据入库
启动服务
渲染数据
我们在此只是实现抓取数据。

├── README.md
├── app.js 入口文件
├── assets
│ └── images
├── config.js
├── files 返回结果
│ ├── result.json
│ ├── tickets.png
│ └── verifiCode.png
├── package-lock.json
├── package.json
└── utils
├── buyTicket.js 买票
├── crackCode.js 破解验证码
├── index.js
├── login.js
├── saveData.js 保存数据
├── scheduleTask.js 任务队列
└── sendEmail.js 发送邮件