puppeteer爬虫
文章平均质量分 73
Mr_xiatian
心之所向,则无惧风雨!
展开
-
Puppeteer 安装与注意事项 《一》
Puppeteer 安装与注意事项 1.安装node.js在使用puppeteer的时候,它一些低版本的node是不支持的,作者推荐使用8以上的版本,否则node在后面使用puppeteer的时候会抛出SyntaxError: Unexpected token的异常,因为低版本的 node 是不支持 async 和 await的。2.安装puppeteer原创 2018-01-30 12:02:16 · 8870 阅读 · 1 评论 -
puppeteer安装报错Error: read ECONNRESET 《附》
1.puppeteer安装报错 这两天有小伙伴私信我,说在 npm i puppeteer之后报错,报错信息提示说下载chromium失败,跳过下载之类的。报错信息如下: 其实这是因为puppeteer里面内置的 chromium下载链接关闭了,这时候我们可以npm i --save puppeteer --ignore-scripts跳过安装原创 2018-02-06 18:02:00 · 1690 阅读 · 0 评论 -
puppeteer实战之网页爬虫,模拟操作《二》
1.前言 由于公司有几款新闻,视频类的app产品,于是乎文章和视频的稳定来源成为一个必须解决的问题。 公司也研究了很多的爬虫方案,最后使用puppeteer开发了一个文章的采集中心。 这是一个基于node的服务器,主要设计的思路是:当接收到抓取某个站点文章的任务后,node服务器就启动一个 爬虫器,将该网站的文章信息解析出来,然后上报给一个java服务器,由java负责数据的处理和存储。在原创 2018-02-03 19:30:06 · 7343 阅读 · 0 评论