关闭

Node.js抓取网页

标签: node.js网页抓取
196人阅读 评论(0) 收藏 举报
分类:

前几天四六级成绩出来(然而我没考),用Node.js做了一个模拟表单提交并抓取数据的Web
总结一下用到的知识,简单的网页抓取大概就是这个流程了

发送Get或Post请求

表单提交,首先弄到原网页提交的地址,然后引入http或https模块
也可以下载使用request模块。
这边以get为例

var http = require('http');

//设置请求参数,包括headers
var options = {
    url: 'www.chsi.com.cn',
    encoding: null,
    host: 'www.chsi.com.cn',
    path: '/cet/query?' + querystring,
    method: 'GET',
    headers: {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Connection': 'keep-alive',
        'Cookie': 'JSESSIONID=8D79F004CB79FC5352F123F76CF4D853; __utmt=1; __utma=65168252.1576213452.1471513579.1471575867.1471575870.3; __utmb=65168252.5.10.1471575870; __utmc=65168252; __utmz=65168252.1471575870.3.3.utmcsr=baidu|utmccn=(organic)|utmcmd=organic|utmctr=%E5%AD%A6%E4%BF%A1%E7%BD%91',
        'Host': 'www.chsi.com.cn',
        'Referer': 'http://www.chsi.com.cn/cet/',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
    }
};

var req = http.request(options, function(res){
  res.on('data', function(data){
    //处理data事件,当接收到数据时触发
  }).on('end', function(){
    //处理读取完所有数据的事件
  }).on('error', function(err){
    //处理错误时的事件
    console.log(err);
  });
});

//发送请求
req.end();

如果是post请求,需要在req.end()之前用req.write(content)写入请求参数

Transfer-Encoding:chunked?

有时候服务器的response header会带有一个Transfer-Encoding,如果是chunked,说明服务器是分段传输数据的
这种情况下,会触发多次res的data事件,因此可以先定义一个变量,然后在data事件处理函数中将接收到的数据拼接起来

var req = http.request(options, function(res){
  var data = '';
  res.on('data', function(chunk){
    //处理data事件,当接收到数据时触发
    data += chunk;
  }).on('end', function(){
    //处理读取完所有数据的事件
  }).on('error', function(err){
    //处理错误时的事件
    console.log(err);
  });
});

//发送请求
req.end();

使用zlib库解压gzip压缩过的html

现在很多网站在进行数据传输时都会先用gzip或deflate压缩以减小传输数据的体积,这样,我们请求到的数据就是压缩过的数据,无法正常解析,因此需要先解压

Node.js带有一个zlib库可以用来解压gzip格式的数据

我们可以利用Node.js的管道流机制,将接收到的数据先通过pipe()交给zlib处理,然后再进行我们自己的处理

var zlib = require('zlib');

var req = http.request(options, function(res){
  var gunzip = zlib.createGunzip();
  res.pipe(gunzip);  //通过pipe()将数据交给gunzip
  var data = '';
  //事件处理,res.on改为gunzip.on
  gunzip.on('data', function(chunk){
    //处理data事件,当接收到数据时触发
    data += chunk;
  }).on('end', function(){
    //处理读取完所有数据的事件
  }).on('error', function(err){
    //处理错误时的事件
    console.log(err);
  });
});

//发送请求
req.end();

压缩html字符串(去除换行符)

接收到的data如果不是json格式而是html,就需要进一步处理
但是在html中有各种换行符,不方便进行正则匹配,因此先把换行符去掉

htmlstring = htmlstring.replace(/[\r\n]/g, '');

用正则表达式提取有用的信息

去除了烦人的换行符后,就可以愉快地用正则来获取我们需要的信息啦

什么?你不会用正则?
学啊,相信你肯定搜到过这个 正则表达式30分钟入门教程 ,需要的时候看一看。

大致的匹配流程是这样的:

var reg = new RegExp('');  //参数为正则的pattern

var arr = [];

arr = htmlstring.match(reg);  //显然match()方法返回的是匹配结果的数组,如果没有结果则返回null

这里贴个MDN上的文档,提高提高姿势水平
* RegExp - JavaScript | MDN
* String.prototype.match() - JavaScript | MDN

解析html(可选)

如果你不想用正则对html数据进行处理,没关系,还可以选择对html数据构造DOM树,然后通过各种选择器来获取你需要的数据
像是node-jquery、node-htmlparser之类的,具体的做法问Google吧,这边贴上一篇文章供参考 NodeJS 中寻找可用的 HTMLParser
我也没用过,就不多说了。

参考

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:47495次
    • 积分:867
    • 等级:
    • 排名:千里之外
    • 原创:38篇
    • 转载:0篇
    • 译文:2篇
    • 评论:5条
    文章分类
    最新评论