【爬虫】
xmind果果
提高解决问题的能力,和探讨问题出现的根本原因
展开
-
puppeteer 教程(11) ----进阶(puppeteer 处理淘宝滑块验证码)
目标处理存在淘宝滑块验证码,并封装成为工具类。。。。主要学习以下知识点方法名称方法说明page.evaluateOnNewDocument添加一个方法,在以下某个场景被调用:1.页面导航完成后,2.页面的iframe加载或导航完成。这种场景,指定的函数被调用的上下文是新加载的iframe。page.mouse.move触发一个 mousemove 事件。p...原创 2019-10-14 23:48:23 · 5072 阅读 · 2 评论 -
puppeteer 教程(2) ---- puppeteer介绍
目标对puppeteer大概的介绍,是什么,能够做什么,如何使用简介Puppeteer 是一个node库,他提供了一组用来操纵Chrome的API, 通俗来说就是一个 headless chrome浏览器 (当然你也可以配置成有UI的,默认是没有的)。既然是浏览器,那么我们手工可以在浏览器上做的事情 Puppeteer 都能胜任, 另外,Puppeteer 翻译成中文是”木偶”意思,所以听名...原创 2019-08-11 21:04:45 · 732 阅读 · 0 评论 -
puppeteer 教程(3) ---- puppeteer 环境搭建及其工具推荐
目标puppeteer 环境搭建及其工具推荐 以及个人遇到的问题进行处理开始目前我的环境是Puppeteer v1.19.0nodejs v10.16.2JetBrains WebStorm 2018.1 x641.nodejs搭建1.官网安装包下载https://nodejs.org/dist/v10.16.2/node-v10.16.2-x64.msi2.参考这篇教程 ...原创 2019-08-11 21:16:49 · 1439 阅读 · 0 评论 -
puppeteer 教程(4) ----入门例子(访问百度,并截图)
目标经过前几篇啰里啰嗦的介绍与环境的搭建,下面我们正式开始入手一个例子开始我们的爬虫之旅开始1.代码当前例子位于项目结构代码:/*基础的方法演示 与注释 */const puppeteer = require('puppeteer'); //引入puppeteer库(async () => { const browser = await puppeteer.l...原创 2019-08-11 23:13:47 · 1066 阅读 · 0 评论 -
puppeteer 完整教程 常用api
目标将 常用api 与相关完整api链接推荐链接推荐1.puppeteer api中文 https://zhaoqize.github.io/puppeteer-api-zh_CN/内部开发api https://chromedevtools.github.io/devtools-protocol/tot/Page2.puppeteer 开源项目地址https://github....原创 2019-08-11 23:13:06 · 10520 阅读 · 1 评论 -
puppeteer 教程(5) ----入门例子(爬取csdn文章列表标题)
目标爬取csdn文章列表标题主要学习以下知识点方法名称方法说明page.waitForSelector等待某个元素出现page.$$eval此方法在页面内执行 Array.from(document.querySelectorAll(selector)),然后把匹配到的元素数组作为第一个参数传给 pageFunction详细api 可参考https:/...原创 2019-08-11 23:24:58 · 1293 阅读 · 4 评论