- 博客(4)
- 收藏
- 关注
RSS订阅原创 casperjs爬虫总结 -- (4) 保存到mongo数据库
casperjs爬虫总结 -- (4) 保存到mongo数据库1 mongo和mongoosemongoose是对mongo数据库的封装,让nodejs操作mongo更加方便2 package.json这个json文件中记录了项目所需要的第三方nodejs包因为mongoose的nodejs包需要编译,所以需要安装c++的编译器在windows操作系
2015-12-24 00:50:24
1982
原创 casperjs爬虫总结 -- (3) 抓取百度萝莉吧图片
1 我的casper文件夹结构|data--|a.json--|b.json|fetch--|tieba.js|format--|tieba.xmlcommon.jssaveToFile.js解释:data文件夹用来存储爬来的信息,文件格式为json其中遇到图片信息,一律用base64来储存fetch文件夹用来放置针对某个
2015-12-23 19:39:32
141570
原创 casperjs爬虫总结 -- (2) casperjs
casperjs爬虫总结 -- (2) casperjs1. 为什么简单的request请求不够作为爬虫,估计直接request是第一想法但是现代的web,有很多数据不是在一个request里就全部包含了,还有很多是通过js和ajax请求来获取的,所以我们需要一个虚拟的浏览器来模拟2. 简介phantom官网:http://phantomjs.org/p
2015-12-23 15:48:22
1585
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人