Nodejs 实现爬虫的改造：Promise优化、动态页面数据的获取、多个页面并发爬取

跟着Scott老师把上一次的那个爬虫代码进行改造，主要包括单个网页爬取变为多个网页爬取、使用Promise来优化多层回调、动态数据的获取（Scott老师视频中没有的，自己乱搞一个晚上出来的。。。） 

首先来介绍一下Promise，Promise可以将多层的回调转换为链式来操作，大大提升了代码的可读性与维护性。从表面上看，Promise只是能够简化层层回调的写法，而实质上，Promise的精髓是“状态”，用维护状态、传递状态的方式来使得回调函数能够及时调用，它比传递callback函数要简单、灵活的多。下面来介绍如何使用Promise来优化

1. 由于该爬虫是多个页面并发爬取的，使用普通的方法需要层层回调，所以对该回调函数（获取页面数据函数）进行Promise包装

function getPageAsync(url) {//使用Promise对象来包装获取到页面的html的方法
    return new Promise(function (resolve,reject) {
        console.log('正在爬取 ' + url + '\n');

        http.get(url,function(res){
            var html = '';

            res.on('data',function (data) {
                html += data.toString('utf-8');
            })
            res.on('end',function(){
                resolve(html);//把当前的获取到页面的html返回回去（传递下去）
            })

        }).on('error',function (e) {
            reject(e);
            console.log("获取课程数据出错！");
        })
    })
}

2. 使用Promise的all方法（参数是一个数组，当这个数组里面所有的 Promise 对象都变为 resolve 时，该方法才会返回）来并发获取每个页面的源码，然后执行then方法来执行每个页面的爬取操作

Promise
    .all(fetchPageUrl)//针对每个url地址返回的页面HTML源码并发操作进行爬取
    .then(function (Pages) {
        var coursesData = [];
        Pages.forEach(function (html) {
            var course = selecttHtml(html);//获取当前爬取的数据
            coursesData.push(course);//保存当前爬取的数据
        })
        //console.log(courseMembers);
        for(var i in courseIds)//获取每个课程的学习人数，因为获取是异步操作的，所以要用同步地给每个课程对象赋值
        {
            for(var j in courseMembers.id)
                if(courseMembers.id[j] === courseIds[i]) {
                    coursesData[i].number = courseMembers.numbers[j];
                }
        }
       coursesData.sort(function (a, b) {//按照学习的人数从高到低排序
            return a.number < b.number;
        })
        printinfo(coursesData);//打印已经爬取好的数据
    })

动态数据的获取，因为慕课网页面源码的改变，原本Scott老师视频中获取的学习人数是静态数据来的，现在却是动态数据（好心塞啊。。），下面我来介绍一下自己是怎么获取到的动态数据的

1.首先在页面源码中找到学习人数这个数值的标签位置，发现它由一个特有的类（js-learn-num）来控制的。

2. 然后在开发人员工具中的调试程序面板下搜索js-learn-num，然后发现该数据是通过ajax的GET方法来异步获取的（如下图所示）

3. 在网络面板中搜索上图的url地址，然后找到一个AjaxCourseMembers?ids=259的请求，里面用JSON格式来封装的就是我们需要获取学习人数的动态数据

4. 下面直接用Nodejs中http模块的get方法去获取这个JSON数据，然后进行JSON解析该数据从而获得我们想要的数据

下面直接来看代码：

/**
 * Created by Turne on 2017/2/10.
 */

var http = require('http');
var Promise = require('bluebird')
var querystring = require('querystring');
var url = 'http://www.imooc.com/course/AjaxCourseMembers?ids=728';
var titleBaseUrl = 'http://www.imooc.com/course/AjaxCourseMembers?ids=';//用以获取每个课程的学习人数，该数据是动态的
var cheerio = require('cheerio');
var baseUrl = 'http://www.imooc.com/learn/';
var courseIds = [728,637,348,259,197,134,75];//需要爬取课程的id
var courseMembers = {id:[],numbers:[]};//每个课程学习的人数

function printinfo(coursesData) {//打印已经爬好的东西
    coursesData.forEach(function (courseData) {
        console.log(courseData.number + " 学过了 " + courseData.title + '\n');
    })
    var chapterTitle;
    coursesData.forEach(function (courseDatas) {
        console.log('###'+courseDatas.title +'###'+ '\n');//打印每个课程的标题
        courseDatas.courseData.forEach(function (item) {
            chapterTitle  = item.chapterTitle;
            console.log(chapterTitle + '\n');//打印每一章的标题

            item.videos.forEach(function (video) {
                console.log(' 【' + video.id + '】 '+ video.title + '\n');//打印每个视频的id和标题
            })
        })
    })
}

function selecttHtml(html) {//通过页面源码来选择需要爬取的东西
    var $ = cheerio.load(html);
    var contents = $('.chapter');//某章节下的HTML的源码
    var title = $($('.course-infos')).find('h2').text();//整个课程的大标题
    var id = $($(".course-infos").find('a')[3]).attr('href').split('/learn/')[1];
    //getCourseMembers(parseInt(id,10));
    //console.log(number);
    //var courseData = [];

    var coursesData = {
        title:title,
        number:0,
        courseData:[]
    }

    contents.each(function (item) {
        var content = $(this);//当前这一章的HTML源码数据
        var text = content.find('.chapter-content').text();
        var chapterTitle = content.find('strong').text().split(text)[0].trim();//获取每一章的标题
        var videos = content.find('.video').children('li');//获取每个视频的信息，包含视频的id和标题

        var chapterData = {
            chapterTitle:chapterTitle,
            videos: []
        };

        videos.each(function (item) {
            var video = $(this).find('a');
            var title = video.text().split('开始学习')[0].trim();//获取每个视频的标题
            //console.log(title.length);
            title = title.substring(0,title.length - 10).trim() + " " + title.substring(title.length - 10,title.length).trim();
            var id = video.attr('href').split('video/')[1];//获取每个视频的id

            chapterData.videos.push({
                title:title,
                id:id
            })

        })

        coursesData.courseData.push(chapterData)//保存爬取的数据
    })
    return coursesData;
}

function getPageAsync(url) {//使用Promise对象来包装获取到页面的html的方法
    return new Promise(function (resolve,reject) {
        console.log('正在爬取 ' + url + '\n');

        http.get(url,function(res){
            var html = '';

            res.on('data',function (data) {
                html += data.toString('utf-8');
            })
            res.on('end',function(){
                resolve(html);//把当前的获取到页面的html返回回去（传递下去）
            })

        }).on('error',function (e) {
            reject(e);
            console.log("获取课程数据出错！");
        })
    })
}

function getCourseMembers(id) {//用以获取每个课程的学习人数
    var url = titleBaseUrl + id;
    var members;
    //由于学习人数是通过AjAX来异步更新的，所以我们要使用http的个get方法去获取AJAX获取数据的url去获得我们想要的数据
    http.get(url,function(res){
        var datas = '';

        res.on('data',function (chunk) {
            datas += chunk;
        })
        res.on('end',function(){
            datas = JSON.parse(datas);//由于获取到的数据是JSON格式的，所以需要JSON.parse方法浅解析
            courseMembers.id.push(id);//保存每个课程的
            courseMembers.numbers.push(parseInt(datas.data[0].numbers,10));//保存每个课程的学习人数
        })

    })
}

var fetchPageUrl = [];

courseIds.forEach(function (id) {
    fetchPageUrl.push(getPageAsync(baseUrl + id));
    getCourseMembers(id);
})


Promise
    .all(fetchPageUrl)//针对每个url地址返回的页面HTML源码并发操作进行爬取
    .then(function (Pages) {
        var coursesData = [];
        Pages.forEach(function (html) {
            var course = selecttHtml(html);//获取当前爬取的数据
            coursesData.push(course);//保存当前爬取的数据
        })
        //console.log(courseMembers);
        for(var i in courseIds)//获取每个课程的学习人数，因为获取是异步操作的，所以要用同步地给每个课程对象赋值
        {
            for(var j in courseMembers.id)
                if(courseMembers.id[j] === courseIds[i]) {
                    coursesData[i].number = courseMembers.numbers[j];
                }
        }
       coursesData.sort(function (a, b) {//按照学习的人数从高到低排序
            return a.number < b.number;
        })
        printinfo(coursesData);//打印已经爬取好的数据
    })