node 简单爬虫

node简单爬虫

简单实验：

            工具：1-请求模块superagent

                     2-服务端jQuery  cheerio

具体代码实现

router.get('/pachong', function(req, res, next) {
  superagent.get('***.html')
  .end(function (err, sres) {
    if (err) {
      return next(err);
    }
    var $ = cheerio.load(sres.text);
    var items = [];
    $('.textContent a').each(function (idx, element) {
      var $element = $(element);
      items.push({
        // title: $element.attr('title'),
        href: $element.attr('href')
      });
    });
    res.send(items);
  });
});