iconv.decode()导致的问题以及解决方法

https://github.com/ashtuchkin/iconv-lite/wiki/Use-Buffers-when-decoding

问题

var http = require('http'),
    iconv = require('iconv-lite');

http.get("http://website.com/", function(res) {
  var body = '';
  res.on('data', function(chunk) {
    body += chunk;
  });
  res.on('end', function() {
    var decodedBody = iconv.decode(body, 'win1252'); // 或者gbk/gb2312等
    console.log(decodedBody);
  });
});

在使用iconv.decode()解码之前,最初的资源已经通过body += chunk解码了,发生了什么:

res.on('data', function(chunkBuffer) {
    body += chunkBuffer.toString('utf8');
  });

如果你设置了res.setEncoding(‘utf8’);。那么和上面的转化是一样的。

对于最开始的问题,使用了两次解码(无论一次还是两次),都是错误的结果。几乎是不可能地回复最初的字节因为utf8转换是有损耗的(lossy)。所以即使是iconv.decode(new Buffer(body, 'utf8'), 'win1252')也无济于事。

注意: theoretically, if you use ‘binary’ encoding to first decode to strings, then feed them to decode, you get the correct results. This is a bad practice because it’s slower, it’s mixing concepts and ‘binary’ encoding is deprecated.
这段不是很懂什么意思,反正使用’binary’编码是不赞成的。(二进制编码?)

解决方案

保持开始的buffer并且使用iconv.decode,如果有必要,可以使用Buffer.concat()

首先需要知道的是,在data事件的时候,所有的js字符串都是经过解码(utf8)的,我们就不需要手动解码了。

http.get("http://website.com/", function(res) {
  var chunks = [];
  res.on('data', function(chunk) {
    chunks.push(chunk);
  });
  res.on('end', function() {
    var decodedBody = iconv.decode(Buffer.concat(chunks), 'win1252');
    console.log(decodedBody);
  });
});

// Or, with iconv-lite@0.4 and Node v0.10+, you can use streaming support with `collect` helper
http.get("http://website.com/", function(res) {
  res.pipe(iconv.decodeStream('win1252')).collect(function(err, decodedBody) {
    console.log(decodedBody);
  });
});

如果想要忽略警告:
iconv.skipDecodeWarning = true;

### 回答1: childProcess.exec是Node.js中的一个模块,可以用来执行系统命令。如果在执行过程中遇到乱码问题,可以采用如下方法解决: 1. 使用 iconv-lite 模块,将输出的字符串转换为指定的编码格式。例如: ``` const iconv = require('iconv-lite'); const childProcess = require('child_process'); childProcess.exec('命令', { encoding: 'buffer' }, (error, stdout, stderr) => { console.log(iconv.decode(stdout, 'GBK')); }); ``` 2. 修改系统的环境变量,将编码设为指定的编码格式。例如: ``` process.env.LANG = 'zh_CN.GBK'; childProcess.exec('命令', (error, stdout, stderr) => { console.log(stdout); }); ``` 3. 使用 spawn 方法替代 exec 方法,并将输出的字符串转换为指定的编码格式。例如: ``` const iconv = require('iconv-lite'); const childProcess = require('child_process'); const cmd = childProcess.spawn('命令', { encoding: 'buffer' }); cmd.stdout.on('data', data => { console.log(iconv.decode(data, 'GBK')); }); ``` 注意,在使用这些方法时,需要确保已经安装了对应的模块。 ### 回答2: childProcess.exec是Node.js的一个模块,用于调用外部命令执行操作系统指令。该模块本身并不直接提供解决乱码问题的功能,但我们可以通过一些操作来解决输出乱码的问题。 首先,乱码通常是因为终端输出的字符编码与我们期望的不一致,因此我们可以通过设置执行命令的终端编码来解决乱码问题。可以使用`{ encoding: 'utf-8' }`参数来指定命令的输出编码为UTF-8,例如: ```javascript const { exec } = require('child_process'); exec('command', { encoding: 'utf-8' }, (error, stdout, stderr) => { // 这里的stdout就是UTF-8编码的输出结果 }); ``` 其次,如果输出仍然出现乱码,可能是由于终端本身不支持UTF-8编码导致的。我们可以尝试使用iconv-lite模块进行编码转换,将输出结果转换为我们期望的编码格式。可以使用`iconv-lite`模块的`decode()`方法来解码输出,例如: ```javascript const { exec } = require('child_process'); const iconv = require('iconv-lite'); exec('command', { encoding: 'buffer' }, (error, stdout, stderr) => { // 这里的stdout是Buffer类型的输出结果 const decodedOutput = iconv.decode(stdout, 'gbk'); // 这里的decodedOutput就是GBK编码的输出结果 }); ``` 这种方法适用于终端输出的编码是GB2312或其他编码的情况。 总的来说,childProcess.exec本身并没有提供直接处理乱码的解决方案,但我们可以通过设置编码以及使用第三方模块来解决输出乱码的问题。 ### 回答3: childProcess.exec是Node.js中的一个模块,用于在子进程中执行shell命令。在使用childProcess.exec执行shell命令时,有时会出现乱码问题,主要是因为默认的字符编码不一致导致的。解决乱码问题方法通常有以下几种: 1. 使用option参数设置编码格式:可以通过在childProcess.exec的options参数中指定encoding字段来设置字符编码格式。例如,可以将encoding设置为'utf8'来处理常见的UTF-8编码。这样可以确保命令在子进程中正确地输出。 2. 转换字符编码:可以使用iconv-lite等第三方模块来进行字符编码的转换。首先需要将命令的输出按照正确的编码格式进行转换,然后再进行后续的操作。 3. 通过设置环境变量:有时候乱码问题可能是由于环境变量引起的。可以通过设置LC_ALL或LANG等环境变量来指定正确的字符编码。例如,可以尝试设置LC_ALL='en_US.UTF-8'来解决UTF-8编码问题。 4. 使用execSync代替exec:如果不需要异步执行命令,可以考虑使用childProcess.execSync替代childProcess.exec。execSync是同步执行命令的方法,可以避免由于异步操作引起的字符编码问题。 总之,解决乱码问题需要确认数据的正确编码格式,并通过设定环境变量、使用指定编码的第三方模块或设置childProcess.exec的options参数来确保字符编码一致。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值