nodejs简易爬虫

一直以来觉得爬虫这个东西很神秘很牛逼，但是又没有学过python，没有很好的学习教程。直到最近看到了Scottl老师的nodejs http爬虫的视频教学，才慢慢揭开爬虫的神秘面纱。根据老师一步一步书写代码爬取慕课网的章节信息，我对爬虫有了以下几个步骤的理解，并在此基础上完成了对熊猫Tv直播频道的爬虫程序。
首先阐述一下我认为的爬虫步骤：
1. 明确自己要爬的东西
2. 根据网页源代码，定义好相应的数据结构
3. 设计算法（笔者还没达到那个水平，只能写出很简单的算法，而且还是通过cheerio模块用的jquery语法）
4. 根据HTTP协议完成两端的通信

我的爬虫程序是用nodejs写的，因为最近在学这个东西，其中使用了express框架，以及cheerio和superagent两个模块。cheerio模块是nodejs处理html内容的神器，例如var $ = cheerio.load(html)，将页面的html内容加载下来后，便可使用jquery语法进行操作，极为省力。superagent模块是http模块的升级，其链式的语法极大地方便了http方法的书写，而且代码十分整洁。
接下来看代码：

var express = require('express');
var cheerio = require('cheerio');
var superagent = require('superagent');

var url = 'http://www.panda.tv/all';
var app = express();

app.set('port', process.env.PORT || 3000);

function filterVideos(html) {
    var $ = cheerio.load(html);
    var videos = $('#later-play-list').children('li');

    var videosData = [];

    videos.each(function(item) {
        var video = $(this);
        var videoTitle = video.find('.video-title').text();
        var videoInfo = video.find('.video-info');
        var videoData = {
            videoTitle:videoTitle,
            videoInfo: []
        }

        videoInfo.each(function(item) {
            var videoNickname = $(this).find('.video-nickname').text();            
            var videoId = $(this).find('.video-number').text();
            var videoClass = $(this).find('.video-cate').text();
            videoData.videoInfo.push({
                name:videoNickname,
                id:videoId,
                cate:videoClass
            })
        })
        videosData.push(videoData);
    })
    return videosData;
}

function printVideoInfo(videosData) {
    var data = [];
    videosData.forEach(function(item) {
        var videoTitle = item.videoTitle;
        item.videoInfo.forEach(function(videoInfo) {
            data.push(videoTitle + '--------' + videoInfo.name + ' [' + '人数：' + videoInfo.id + ' ' + '类型：' + videoInfo.cate + ']');
            // console.log(videoTitle + '--------' + videoInfo.name);
            // console.log('人数：' + videoInfo.id + '  ' + '类型：' +videoInfo.cate + '\n');
        })
    })
    return data;
}

app.get('/', function(req,res,next) {
    superagent
        .get(url)
        .end(function(err,sres) {
            if (err) { 
                return next(err);
            } else {                
                var videosData = filterVideos(sres.text);
                var data = printVideoInfo(videosData);
                var result = '';
                for (var i = 0 ; i < data.length ; i++ ) {
                    result += '<p>' + (i+1) + ':' + data[i] + '</p>' ;
                };
                res.send(result);
            }           
        })
})

app.listen(app.get('port'));

filterVideos函数是将请求页面的html内容进行过滤，筛选我所需要的信息。这些数据的结构如图：

printVideoInfo函数是将我的数据结构转化为一定的格式，使之更清晰明了地显示在页面上。
最后通过一个路由把数据发送到页面上。有一个小问题是，通过printVideoInfo函数得到的data是一个数组，如何把数组的每个元素逐行打印到页面上呢？我首先想当然地通过一个for循环，每次send一个元素，结果如何？页面只显示了数组的第一个元素，并且命令行上报了一个cant set headers after they are send.虽然不太懂原理，大概就是不能重复send的意思吧…（逃）。之后便有了这个方法，把每个元素包装上< p>，通过一个循环把所有的< p>语句连接到一个字符串result中，再进行res.send(result)就成功了。结果如下图（不同时间点的直播信息不同）：

到这里一个简易的爬虫程序就完成了。虽然这个程序没有很复杂的算法，也只取到了首页的直播数据，但也是一个nodejs小白的第一个爬虫程序，各位大神非喜勿喷！