欢迎使用CSDN-markdown编辑器

nodejs爬虫

最近接触了一下nodejs的爬虫。
至于为什么我会想到用nodejs去写，因为本身我是一个前端的学员，PYTHON什么的是不会学的，java什么的也不会用，只能用javascript做点力所能及的事情。

但是话说回来，nodejs爬虫对于我这样一个小白来讲真的不算难，js的语法加上几个node模块可以简单实现nodejs的爬虫信息获取。

简单的代码

var http = require('http');
var fs = require('fs');
var cheerio = require('cheerio');
var request = require('request');

以上几个模块就是我所用到的，第一次写不成熟的博客请随意拍。

npm install --save request
npm install cheerio

简单说一下，cheerio类似jquery，可以方便的抓取页面元素。
在nodejs的开发中，有时需要后台去调用其他服务器的接口，这个时候，就需要发送HTTP请求了。有一个简单的工具可以用，Simplified HTTP request client，可以比较方便的模拟请求。
var url = "http://crjy.hlju.edu.cn/info/1458/3080.htm";
我将url设定为我们校园网的一个静态页面，根据尾号数字的改变可以更改不同的页面，做一个参数每次循环+1可实现抓取。

function startRequest(x) {

    http.get(x, function (res) {
        var html = '';        
        var titles = [];
        res.setEncoding('utf-8'); 
        res.on('data', function (chunk) {
            html += chunk;
        });

        res.on('end', function () {

            var $ = cheerio.load(html);

            var time = $('span.timestyle113332').text().trim();

            var news_item = {

                title: $('td.titlestyle113332').text().trim(),

                Time: time,

                i: i = i + 1,

            };

            console.log(news_item);     
            var news_title = $('td.titlestyle113332').text().trim();

            savedContent($,news_title);  


            var nextLink="http://crjy.hlju.edu.cn/info/1458/" + $("td.contextstyle113332 a").attr('href');
            console.log(nextLink);
            str1 = nextLink.split('-'); 

            str = encodeURI(str1[0]);

            if (i <= 500) {
                fetchPage(str);
            }

        });

    }).on('error', function (err) {
        console.log(err);
    });

}

————————
明天继续9.21