node.js爬虫解决乱码问题+解析网页小结

node.js爬虫解决乱码问题

前端学习进程

---

在爬取出来整个界面之后，可以试着输出看一下整个内容时候是自己想要的，也看看时候出现了乱码问题，解决乱码问题有很多种方法，我当初就试过很多种方法，真正有效的不多，可能是使用的情况不对吧！

我看大部分的文章都用到了iconv-lite

（亲自验证有效）

var html=[];
var len = 0;
res.on('data',function(data){
    html.push(data);
    len += data.length;
});
res.on('end',function(){
    var dataAll = Buffer.concat(html,len);
    var strJson = iconv.decode(dataAll,'gb2312');
})

（会后续补充）

解析页面用到的是cheerio

var $ = cheerio.load(html);

具体的页面还得自己去获取有用的内容，就像jQuery一样去获取标签内容什么的，主要还是去看有关文档，根据自己的需求知道相关的API什么的
通读cheerio API这个文档总结得蛮全面的