node.js：利用cheerio编写的小爬虫程序

    之前在学习的node.js的时候跟随教学视频编写了一个利用cheerio实现的小爬虫程序，然而一直卡在cheerio的安装问题上运行无结果，今天终于给改出来了，写篇博客记录下自己犯蠢的过程，希望未来再接再厉。

    （1）首先是node.js 和 git bash的安装，这个已经在上一篇博客里面说过了，这里不再重复；

    （2）然后是cheerio插件的安装：

             a) cheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。

             b) cheerio的安装方法： 

• • git bash 当前操作目录为项目所在文件目录下；
  • 执行安装指令之前需要先初始化，初始化的指令为： $ npm init -f 
  • 执行初始化指令之后会生成 package.json，检查package.json 文件中的内容是否缺少 repository、description等内容，否则的话等下安装还是会 warn；
  • 执行指令：$ npm install cheerio  ，安装cheerio插件；
  • 运行指令：node--> require('cheerio')  查看返回结果用于检查cheerio是否安装正确；

   c）图示：

   （3）接下来放上小爬虫程序的源码，基本跟jQuery的语法无差别：

             a) 简单源码：

var http = require('http');
var url = "http://www.imooc.com/learn/348";

http.get(url, function(res){
    var html = "";
    res.on('data', function(data){
        html += data;
    });
    res.on('end', function () {
        console.log(html);
    })
}).on('error', function () {
    console.log('获取课程信息出错！')
})

             b) 升级版源码：

var http = require('http');
var cheerio = require('cheerio');
var url = "http://www.imooc.com/learn/348";

 function filterChapters(html){
    var $ = cheerio.load(html);
    var chapters = $('.chapter ');

    var courseData = [];
    chapters.each(function(item){
        var chapter = $(this);
        var chapterTitle = chapter.find('strong').text();
        var videos = chapter.find('.video').children('li');
        var chapterData = {
            chapterTitle: chapterTitle.trim(),
            videos: []
        }
        videos.each(function(item){
            var video = $(this).find('.J-media-item');
            var videoTitle = video.text();
            var id = video.attr('href').split('video/')[1];

            chapterData.videos.push({
                id: id,
                title: videoTitle.trim()
            });
        })
        courseData.push(chapterData);
    })
     return courseData;
 }

 function printCourseInfo(courseData) {
     courseData.forEach(function(item){
         var chapterTitle = item.chapterTitle;
         console.log(chapterTitle+'\n');

         item.videos.forEach(function(video){
             console.log(' 【'+ video.id +'】 '+ video.title);
         })
     })
 }

http.get(url, function(res){
    var html = "";
    res.on('data', function(data){
        html += data;
    });
    res.on('end', function () {
        var courseData = filterChapters(html);
        printCourseInfo(courseData);
    })
}).on('error', function () {
    console.log('获取课程信息出错！')
})

    最后感叹一句，学知识真的太特么不容易了，找bug找的心都碎了(￣へ￣)，以后还是要多读书多看报多跟友人打交道~

    依旧附上我参考过的博客一篇：http://www.cnblogs.com/CraryPrimitiveMan/p/3674421.html