casperjs爬虫
扑满大师
专注在telegram的bot开发,爱好区块链相关
展开
-
casperjs爬虫总结(1) -- 环境搭建
casperjs爬虫总结(1) -- 环境搭建原创 2015-12-23 13:54:27 · 864 阅读 · 1 评论 -
casperjs爬虫总结 -- (2) casperjs
casperjs爬虫总结 -- (2) casperjs1. 为什么简单的request请求不够作为爬虫,估计直接request是第一想法但是现代的web,有很多数据不是在一个request里就全部包含了,还有很多是通过js和ajax请求来获取的,所以我们需要一个虚拟的浏览器来模拟2. 简介phantom官网:http://phantomjs.org/p原创 2015-12-23 15:48:22 · 1567 阅读 · 0 评论 -
casperjs爬虫总结 -- (3) 抓取百度萝莉吧图片
1 我的casper文件夹结构|data--|a.json--|b.json|fetch--|tieba.js|format--|tieba.xmlcommon.jssaveToFile.js解释:data文件夹用来存储爬来的信息,文件格式为json其中遇到图片信息,一律用base64来储存fetch文件夹用来放置针对某个原创 2015-12-23 19:39:32 · 138443 阅读 · 0 评论 -
casperjs爬虫总结 -- (4) 保存到mongo数据库
casperjs爬虫总结 -- (4) 保存到mongo数据库1 mongo和mongoosemongoose是对mongo数据库的封装,让nodejs操作mongo更加方便2 package.json这个json文件中记录了项目所需要的第三方nodejs包因为mongoose的nodejs包需要编译,所以需要安装c++的编译器在windows操作系原创 2015-12-24 00:50:24 · 1968 阅读 · 0 评论