nodejs爬虫与python爬虫_基于node.js实现爬虫的讲解

1. cheerio 与 request

request：模拟客户端行为，对页面进行请求

cheerio：对服务器端返回的页面进行解析；

var cheerio = require('cheerio');

var request = require('request');

var startUrl = 'http://www.baidu.com'

request(startUrl, function(err, response) {

if (err) {

console.log(err);

}

var $ = cheerio.load(response.body);

var title = $('title').text();

console.log(title);

}

2. 认识 cheerio

获取 element 位置

通过 class 属性进行匹配：

var $=cheerio.load('

');

$('.container')

取其链接：

$('a.downbtn').attr('href')

某一页面下的全部可链接：

var url =

var $ = cheerio.load(data);

$("a.downbtn").each(function(i, e) {

console.log($(e).attr("href"));

});

console.log("done");

} else {

console.log("error");

}

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接