node js简单爬虫实现

所谓爬虫，就是抓取网页上的信息，node js的简单爬虫是通过request模块和cheerio来实现的

首先要下载这两个包 npm install -g request --save-dev npm install -g cheerio --save-dev

这两个包就下好了

每一个网站都有一个robots协议 它规定了你可以爬取什么 不可以爬取什么 

比如极客学院的robot协议

一般我们如果爬取了不应当爬取的数据 有时候也没关系 额

我是参考这个文章来编写的

http://chenxi.name/60.html

导入模块

/**
 * Created by hcnucai on 2016/11/7.
 */
var request = require("request");
var cheerio = require("cheerio");
var path = require("path");
var express = require("express");

var fs = require("fs");

规定url

var requrl = "http://jandan.net/ooxx/page-1319";

随后加载进这个url 提取body 当res.statusBody为200的时候 表示加载成功 accquireData是个函数

//解析img标签
function accquireData(data) {
    //cheerio解析data
    var $ = cheerio.load(data);

    //将所有的img放到一个数组中
    var meizi = $('.text img').toArray();
    // var table = $('.tag-cloud tbody tr').toArray();
    //  table.forEach(function (e) {
    //      var tempTf = cheerio.load(e);
    //      var href1 = tempTf('td a').toArray();
    //      href1.forEach(function (tempHref) {
    //          console.log(tempHref.attribs.href);
    //      })
    //  })
    for(var i = 0; i < meizi.length;i++){
    //用循环读出数组中每个src
        var imgSrc = meizi[i].attribs.src;
       //通过path.baseUrlForFileName 来读取文件名
        var fileName = path.basename(imgSrc);
        //随后进行下载图片的操作
        downLoadImg(imgSrc,fileName,function () {
            console.log(fileName + 'done');
        })
    }
}

通过cheerio来加载html 返回一个DOM树 操作这个$符号 就是相当于jquery来操纵DOM树

.text 表示class 为text的 img表示其下的子元素img 随后遍历这个数组 attribs表示他的属性 属性中的src 来提取他的url 

随后downLoadImg也是一个函数 来下载img

var downLoadImg = function (url,fileName,callBack) {
    request.head(url,function (err,res,body) {
        //返回图片的类型
        console.log(("content-type:",res.headers["content-type"]));
        //返回图片的大小
        console.log(("content-length:",res.headers["content-length"]));
     if(err){
         console.log("err" + err);
         return false;
     }
     console.log("res:" + res);
        //下载文件的操作
        request(url).pipe(fs.createWriteStream("/Users/hcnucai/Desktop/NodeDemo/images/" + fileName)).on('close',callBack);
    })
}

是一个函数 通过request(url).pipe() 文件产生输出流，监听结束的时候 传回一个闭包函数 表示这个文件下载完毕 这样就可以实现了 主要实现爬虫的就是cheerio函数 来解析DOM树 request来加载html代码

整体代码

/**
 * Created by hcnucai on 2016/11/7.
 */
var request = require("request");
var cheerio = require("cheerio");
var path = require("path");
var express = require("express");

var fs = require("fs");
var requrl = "http://jandan.net/ooxx/page-1319";
//使用request模块类请求url
//使用cherrio来解析html
request(requrl,function (err,res,body) {
    if(!err && res.statusCode == 200){
        //返回请求页面的html
      //  console.log(body);
        accquireData(body);
    }

})
//解析img标签
function accquireData(data) {
    //cheerio解析data
    var $ = cheerio.load(data);

    //将所有的img放到一个数组中
    var meizi = $('.text img').toArray();
    // var table = $('.tag-cloud tbody tr').toArray();
    //  table.forEach(function (e) {
    //      var tempTf = cheerio.load(e);
    //      var href1 = tempTf('td a').toArray();
    //      href1.forEach(function (tempHref) {
    //          console.log(tempHref.attribs.href);
    //      })
    //  })
    for(var i = 0; i < meizi.length;i++){
    //用循环读出数组中每个src
        var imgSrc = meizi[i].attribs.src;
       //通过path.baseUrlForFileName 来读取文件名
        var fileName = path.basename(imgSrc);
        //随后进行下载图片的操作
        downLoadImg(imgSrc,fileName,function () {
            console.log(fileName + 'done');
        })
    }
}
var downLoadImg = function (url,fileName,callBack) {
    request.head(url,function (err,res,body) {
        //返回图片的类型
        console.log(("content-type:",res.headers["content-type"]));
        //返回图片的大小
        console.log(("content-length:",res.headers["content-length"]));
     if(err){
         console.log("err" + err);
         return false;
     }
     console.log("res:" + res);
        //下载文件的操作
        request(url).pipe(fs.createWriteStream("/Users/hcnucai/Desktop/NodeDemo/images/" + fileName)).on('close',callBack);
    })
}

资源
http://chenxi.name/60.html
https://cnodejs.org/topic/5203a71844e76d216a727d2e
http://www.cnblogs.com/tianheila/p/5183733.html