node mysql gbk_在NodeJS中抓取非UTF-8编码(GBK)的页面数据

在最近的项目中需要抓取一些网站的内容，发现页面返回是乱码；通过分析是GBK编码转码问题，遂分享一下解决方案。

1)通过request请求数据时，设置encoding未null，避免其自行解码。

2)实用iconv-lite库完成实际到GBK的解码，iconv-lite是纯js实现不是Native的，有较好的性能与跨平台性。

示例代码：

var request = require('request');

var iconv = require('iconv-lite');

function requestURL(url, callback) {

request.get(url, {

encoding: null,

headers: {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:57.0) Gecko/20100101 Firefox/57.0'

}

}, function(err, resp, body) {

if (err)

callback(err);

else if (resp.statusCode != 200)

callback(new Error("Bad reponse code: " + resp.statusCode + ", url: " + url));

else

callback(err, iconv.decode(body, 'gbk'));

});

}

requestURL('some gbk encode page url', function(err, body) {

console.log(err, body);

});