NodeJS学习笔记

David_三人行

于 2016-05-01 17:49:03 发布

阅读量201

点赞数

分类专栏：个人学习笔记

本文链接：https://blog.csdn.net/qq_29279951/article/details/51291124

版权

个人学习笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

爬虫

superagent(抓取资源)
cheerio（转化为DOM结构）

var superagent = require('superagent');
superagent.get(host_url).end(function(err, sres) {
        // 常规的错误处理
        if (err) {
            return next(err);
        }
        // sres.text 里面存储着网页的 html 内容，将它传给 cheerio.load 之后
        // 就可以得到一个实现了 jquery 接口的变量，我们习惯性地将它命名为 `$`
        // 剩下就都是 jquery 的内容了
        // console.log(sres.text);

        var $ = cheerio.load(sres.text);
        var items = [];
        // console.log($('#list-container'));
        $('#list-container li .title').each(function(idx, element) {
            var $element = $(element);
            var href = url.resolve(host_url, $element.children().attr('href'));
            items.push({
                title: $element.text(),
                href: href
            });
            topicUrls.push(href);
        });

        // res.send(items);
        // res.send($('#list-container').html());
    });