学习笔记
前言
近期做一个数据抓爬工具,最开始使用的是C#控制台应用,同时正则表达式去过滤数据,看着还行,可每次运行都依附于.net framework很是不爽,于是想整点其他的方法。本人还是比较喜欢javascript的,思来想去决定用服务器端的javascript来试试!
环境、工具准备
1、[必装] 安装nodejs,下载最新nodejs,点击此处
2、[选装] 安装iisnode,以及rewrite,因为我是以IIS作为Server,所以用到了这2个IIS的拓展插件,假如仅仅只是cmd控制台运行node则这第二项忽略
3、附加信息:当安装成功之后,在IIS下回出现URL重写这么个东东
范例实现
我以一个小小的案例来实现这么个功能,咱们去抓下面这个站点的数据测试一下:http://www.jj59.com/
1、抓列表,http://www.jj59.com/jingpinwenzhang/list_68_3.html
2、抓详情,http://www.jj59.com/jingpinwenzhang/082919.html
原网站截图如下:
接下来我要做的就是
1、将指定页的列表页中文章的标题与对应链接过滤出来,然后返回json数组
2、将详情页文章标题,作者,创建时间,内容过滤出来,然后返回json对象
具体nodejs代码于运行结果
![](https://i-blog.csdnimg.cn/blog_migrate/cdec0645add3fc3c328197dda5c76203.gif)
![](https://i-blog.csdnimg.cn/blog_migrate/81178cc93a2a3bb5048d90d76e7ec935.gif)
1 var http = require('http'); 2 var _url = require('url'); //引用url模块,处理url地址相关操作 3 var cheerio = require("cheerio"); //引用cheerio模块,使在服务器端像在客户端上操作DOM,不用正则表达式 4 var iconv = require('iconv-lite'); //解决编码转换模块 5 var BufferHelper = require('bufferhelper'); //关于Buffer我后面细说 6 /* 7 *最后我需要达到的效果是,给予一个访问地址,形如:http://www.mynode.com?link=www.abc.com&callback=cb 8 *我希望可以返回json,也可返回jsonp 9 */ 10 11 http.createServer(function (req, res) { 12 var arg = _url.parse(req.url, true).query; //通过调用url模块,获取查询字符串参数集合 13 var link = arg.link;