文件乱码问题的一例分析

今天查看日志,遇到一种乱码问题, 终端展示的文件内容为:
“Îļþ²»´æÔÚ\r\r\n”
尝试分析其原文. 使用xxd按照十六进制查看, 得到对应数据为: c3 8e c3 84 c2 bc c3 be c2 b2 c2 bb c2 b4 c3 a6 c3 94 c3 9a 0d 0d 0a
里面c3和c2大量存在,怀疑与两重编码有关, 使用NodeJS + iconv-lite 做如下尝试:

> buf = fs.readFileSync('1.txt')
<Buffer c3 8e c3 84 c2 bc c3 be c2 b2 c2 bb c2 b4 c3 a6 c3 94 c3 9a 0d 0d 0a>
> iconv.decode(buf,'gbk')
'脦脛录镁虏禄麓忙脭脷\r\r\n'
> iconv.decode(buf,'utf-8')
'Îļþ²»´æÔÚ\r\r\n'
> iconv.decode(iconv.decode(buf,'utf8'),'gbk')
Iconv-lite warning: decode()-ing strings is deprecated. Refer to https://github.com/ashtuchkin/iconv-lite/wiki/Use-Buffers-when-decoding
'文件不存在\r\r\n'
> iconv.decode(iconv.decode(buf,'gbk'),'utf8')
'&\u001bUAO���-7\r\r\n'

可以确定是先进行了gbk编码, 又进行了utf8存储导致. 原文是"文件不存在\r\r\n".

据此可以进行分析后续流程和两重编码导致的原因.