学习笔记
前言
近期做一个数据抓爬工具,最开始使用的是C#控制台应用,同时正则表达式去过滤数据,看着还行,可每次运行都依附于.net framework很是不爽,于是想整点其他的方法。本人还是比较喜欢javascript的,思来想去决定用服务器端的javascript来试试!
环境、工具准备
1、[必装] 安装nodejs,下载最新nodejs,点击此处
2、[选装] 安装iisnode,以及rewrite,因为我是以IIS作为Server,所以用到了这2个IIS的拓展插件,假如仅仅只是cmd控制台运行node则这第二项忽略
3、附加信息:当安装成功之后,在IIS下回出现URL重写这么个东东
范例实现
我以一个小小的案例来实现这么个功能,咱们去抓下面这个站点的数据测试一下:http://www.jj59.com/
原网站截图如下:
接下来我要做的就是
1、将指定页的列表页中文章的标题与对应链接过滤出来,然后返回json数组
2、将详情页文章标题,作者,创建时间,内容过滤出来,然后返回json对象
具体nodejs代码于运行结果
1 var http = require('http');2 var _url = require('url'); //引用url模块,处理url地址相关操作
3 var cheerio = require("cheerio"); //引用cheerio模块,使在服务器端像在客户端上操作DOM,不用正则表达式
4 var iconv = require('iconv-lite'); //解决编码转换模块
5 var BufferHelper = require('bufferhelper'); //关于Buffer我后面细说
6 /*
7 *最后我需要达到的效果是,给予一个访问地址,形如:http://www.mynode.com?link=www.abc.com&callback=cb8 *我希望可以返回json,也可返回jsonp9 */
10
11 http.createServer(function(req, res) {12 var arg = _url.parse(req.url, true).query; //通过调用url模块,获取查询字符串参数集合
13 var link = arg.link; //获取抓取的link
14 var callback = arg.callback; //回调函数的名称
15 //若没有对link加上http,则补全
16 var protocol = "http";17 if (link.indexOf("http") < 0) {18 link = protocol + "://" +link;19 }20 //抓取页面
21 download(link, function(data) {22 res.writeHead(200, {23 "Content-Type": "text/html;charset=utf-8&