puppeteer
皮的狠
这个作者很懒,什么都没留下…
展开
-
node.js+puppeteer 爬虫设置 请求拦截-图片请求
node.js+puppeteer 爬虫设置 请求拦截-图片请求1.首先需要先将 请求拦截 功能开启:await page.setRequestInterception(true); // 设为true 开启 false 关闭2.再利用 request 事件 来对请求进行处理(筛选)page.on('request', interceptedRequest => ...原创 2019-03-05 09:02:01 · 4563 阅读 · 0 评论 -
使用node.js+puppeteer 实现一次稍微复杂的爬虫
使用node.js+puppeteer 实现一次稍微复杂的爬虫1.一些方法的说明均在代码中有注释const puppeteer = require('puppeteer');const fs = require('fs');const userAgents = require('./userAgents.js');(async ()=>{ //代理地址 let pro...原创 2019-03-05 10:43:54 · 2173 阅读 · 0 评论