cheerio是为服务器特别定制的,快速/灵活/实施的jquery核心实现,适合各种Web爬虫程序。
iconv命令可以将一种已知的字符集文件转换成另一种已知的字符集文件。它的作用是在多种国际编码格式之间进行文本内码的转换。
模块引用
var cheerio = require('cheerio'),
$ = cheerio.load('<h2 class="title">Hello World</h2>');
$('.title').text('Hello there!');
$('.title').addClass('welcome');
//输出
console.log($.html());
//输出:<html><head></head><body><h2 class="title welcome">Hello there!</h2></body></html>
//解析:.load() 引入我们要解析的html。text() 设置 h2 中的文本。addClass() 给 h2 添加新的class。
深度了解cheerio http://www.hubwiz.com/course/5636b7a11bc20c980538e998/
实用:
let request = require('request');
let iconv = require('iconv-lite');
let cheerio = require('cheerio');
//真正得到的是二进制,然后需要转码后才会是字符串
//默认是用utf8编码转换的
request({uri: 'http://top.baidu.com/category?c=1&fr=topindex', encoding: null}, function (err, response, body) {
body = iconv.decode(body, 'gbk');// iconv 解码 :把buffer类型转成gbk
let $ = cheerio.load(body);
$('.hd .title a').each(function (index, item) {
let $this = $(item);
let category = {
name: $this.text(),
url: $this.attr('href')
};
console.log(category);
})
});