puppeteer 教程
个人学习时,发现puppeteer 教程比较杂乱,没有找到完整的,所以萌生了根据自己的学习笔记写一套完整的流程,供后面的猿友借鉴与开发
主要内容为学流程与官网译文
xmind果果
提高解决问题的能力,和探讨问题出现的根本原因
展开
-
puppeteer 教程(12) ----进阶(puppeteer 从浏览器缓存中拿文件,js,压缩文件等)
目标处理存在淘宝滑块验证码,并封装成为工具类。。。。主要学习以下知识点方法名称方法说明page.evaluateOnNewDocument添加一个方法,在以下某个场景被调用:1.页面导航完成后,2.页面的iframe加载或导航完成。这种场景,指定的函数被调用的上下文是新加载的iframe。page._client.send向Chrome发送一个协议Page...原创 2019-11-21 00:57:37 · 4354 阅读 · 0 评论 -
puppeteer 教程(7) ---- 如何用手机模式打开浏览器
目标用手机模式打开百度主要学习以下知识点方法名称方法说明page.emulate为了支持模拟器,puppeteer 提供了一些设备的参数选项,可以通过 require(‘puppeteer/DeviceDescriptors’) 命令引入详细api 可参考https://blog.csdn.net/mengxiangxingdong/article/detai...原创 2019-10-20 13:50:13 · 7232 阅读 · 3 评论 -
puppeteer 教程(11) ----进阶(puppeteer 处理淘宝滑块验证码)
目标处理存在淘宝滑块验证码,并封装成为工具类。。。。主要学习以下知识点方法名称方法说明page.evaluateOnNewDocument添加一个方法,在以下某个场景被调用:1.页面导航完成后,2.页面的iframe加载或导航完成。这种场景,指定的函数被调用的上下文是新加载的iframe。page.mouse.move触发一个 mousemove 事件。p...原创 2019-10-14 23:48:23 · 5115 阅读 · 2 评论 -
puppeteer 教程(5) ----入门例子(爬取csdn文章列表标题)
目标爬取csdn文章列表标题主要学习以下知识点方法名称方法说明page.waitForSelector等待某个元素出现page.$$eval此方法在页面内执行 Array.from(document.querySelectorAll(selector)),然后把匹配到的元素数组作为第一个参数传给 pageFunction详细api 可参考https:/...原创 2019-08-11 23:24:58 · 1308 阅读 · 4 评论 -
puppeteer 教程(4) ----入门例子(访问百度,并截图)
目标经过前几篇啰里啰嗦的介绍与环境的搭建,下面我们正式开始入手一个例子开始我们的爬虫之旅开始1.代码当前例子位于项目结构代码:/*基础的方法演示 与注释 */const puppeteer = require('puppeteer'); //引入puppeteer库(async () => { const browser = await puppeteer.l...原创 2019-08-11 23:13:47 · 1091 阅读 · 0 评论 -
puppeteer 教程(3) ---- puppeteer 环境搭建及其工具推荐
目标puppeteer 环境搭建及其工具推荐 以及个人遇到的问题进行处理开始目前我的环境是Puppeteer v1.19.0nodejs v10.16.2JetBrains WebStorm 2018.1 x641.nodejs搭建1.官网安装包下载https://nodejs.org/dist/v10.16.2/node-v10.16.2-x64.msi2.参考这篇教程 ...原创 2019-08-11 21:16:49 · 1451 阅读 · 0 评论 -
puppeteer 教程(2) ---- puppeteer介绍
目标对puppeteer大概的介绍,是什么,能够做什么,如何使用简介Puppeteer 是一个node库,他提供了一组用来操纵Chrome的API, 通俗来说就是一个 headless chrome浏览器 (当然你也可以配置成有UI的,默认是没有的)。既然是浏览器,那么我们手工可以在浏览器上做的事情 Puppeteer 都能胜任, 另外,Puppeteer 翻译成中文是”木偶”意思,所以听名...原创 2019-08-11 21:04:45 · 743 阅读 · 0 评论 -
puppeteer 完整教程 常用api
目标将 常用api 与相关完整api链接推荐链接推荐1.puppeteer api中文 https://zhaoqize.github.io/puppeteer-api-zh_CN/内部开发api https://chromedevtools.github.io/devtools-protocol/tot/Page2.puppeteer 开源项目地址https://github....原创 2019-08-11 23:13:06 · 10558 阅读 · 1 评论 -
puppeteer 教程(10) ----进阶(puppeteer 代码自动生成)
puppeteer recorder 离线安装原创 2019-09-01 21:48:50 · 1684 阅读 · 0 评论 -
puppeteer 教程(6) ----入门例子(模拟登陆51cto)
目标模拟登陆51cto主要学习以下知识点方法名称方法说明page.$x此方法解析指定的XPath表达式。page.waitForNavigation此方法找到一个匹配 selector 选择器的元素,如果需要会把此元素滚动到可视,然后通过 page.mouse 点击它。 如果选择器没有匹配任何元素,此方法将会报错。详细api 可参考https://bl...原创 2019-08-28 23:22:43 · 1285 阅读 · 2 评论