轻松上手------node.js爬虫（一部小说）

用函数式编程，编写第一个node.js的爬虫，目的是爬取笔趣看网站一部叫做元尊的小说

代码如下：

var fs = require("fs");
var cheerio = require("cheerio");
var charset = require("superagent-charset");
var request = charset(require("superagent"));

// 操作文件的函数
function file(data) {
    fs.open("小说.txt", "a+", function(err, fd) {
        if (err) { console.error(err)}
        fs.writeFile(fd, data, function(err) {if (err) {return console.error(err);}});  
        fs.close(fd, function(err) {
            if (err) {console.log(err)}
            console.log("文件关闭成功");
        });
    });
}
// file()

// 获得title和href的函数
function getHref(url) {
    request
            .get(url)
            .charset('gbk')
            .set("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36")
            .then( function (res) {
                var $ = cheerio.load(res.text)
                $('.listmain dd').each(function(i, elem) {
                    var href = $(this).find('a').attr('href');
                    var title = $(this).find('a').text();
                    sleep_func(getContent, href, title);
                });
            });
}


function getContent(href, title) {
    request
        .get("http://www.biqukan.com/" + href)
        .charset("gbk")
        .set("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36")
        .then(function(res){
            var $ = cheerio.load(res.text);
            var content = $("#content").text();
            file(title + "\n\n\n" +content + "\n\n\n");
        });
}

function sleep_func(func, arg1, arg2) {
    setTimeout(function () {
        func(arg1, arg2);
    }, 2000);
}

// getContent("/0_790/20831918.html");

getHref("http://www.biqukan.com/0_790/");

这篇爬虫的有些问题需要解决：

1. I/O操作太频繁了，每写入一个章节就要进行一次对文件”小说.txt”的I/O操作
2. 对于间隙时间的运用并不是十分的熟练

接下来要学习的内容：

1. 细心学习superagent模块和cheerio模块
2. 学习fs模块特别是文件句柄fd的作用域
3. 着重学习node.js的异步编程，关键字async和await和模块async
4. 学习let关键字和const关键字与var关键字，做到不能滥用var关键字