node
文章平均质量分 89
唐宋元明清.
0.0
展开
-
puppeteer爬取知乎答案列表爬虫
知乎应该很多人没事的时候都会去看, 毕竟知乎上平均年收入几十万, 日常出国. 哈哈 听朋友说, 今天闲来无事写了一个爬取知乎答案列表的爬虫. 当然知乎有营养的内容还是很多的之前写过一次抓答案列表接口的爬虫, 感觉不太好, 还得找每个问题的请求接口, 这次使用puppeteer来通过页面显示内容抓取Puppeteer 是一个 Node 库,它提供了一个高级 API 来通过 DevTools ...原创 2020-03-05 14:43:53 · 1218 阅读 · 0 评论 -
node爬虫教程
最近几天在公司一直在抓别的网站的数据, 今天闲来无事, 想写一个简单的node爬虫教程, 简单易学, 简单几步就可以实现, 可以控制并发, 请求频率等, 我是使用的node-cralwer这个框架写的, 当然使用原生的request模块也是可以的, 使用框架简单高效, 比自己写要效率好.爬虫无非就是分析网页, 分析接口, 取得你想要的数据, 取得数据有两种方式对于直接请求得到的是...原创 2018-08-10 23:02:40 · 3108 阅读 · 0 评论