node.js简单爬虫

仅供学习参考！
准备工作，先安装 node.js…
之后装 request ， zlib ，cheerio 等模块

const request = require(‘request’);
const zlib = require(‘zlib’);
const cheerio = require(‘cheerio’);

//开启记录cookie,重定向时自动带上cookie
//request = request.defaults({jar: true})
var options = {
url: ‘’,
encoding: null ,
followRedirect:false,
headers: {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’,
// referer: ‘爬虫的url’, 这是重定向

}
}
//关闭自动重定向，检测statusCode是否302，是就先取cookie，然后再次请求并附带cookie
function callback(error, response, body) {
if(response.statusCode==302){
options.headers.cookie=response.headers[‘set-cookie’][0];
request(options, callback);
}else{
// 这里注意下 如果传回来html代码有压缩 使用以下代码进行解压，如果没有压缩直接使用 body.toString())
zlib.unzip(body, function(err, buffer) {
result(buffer.toString());
});
}
}

var arr = [];
function result(html){
var $ = cheerio.load(html);
var trs = $("#history tbody tr");
console.log(trs)
}
}
request(options, callback);