原文发表自 我的简书
乱码问题是不但是新手程序员之痛,也常常让许多资深 coder 束手无策。最近在社区接连收到关于乱码问题的求助,五花八门,我觉得是时候深入讨论一下这个问题了。本文试图让读者深入理解编码的概念以及乱码的产生的原理,以至于今后再遇到乱码问题,能够独立分析、解决。
由于 Sublime Text 是笔者最青睐的编辑器,因此文中的所有截图和实验均以 Sublime Text 为例,其他编辑器或 IDE 在原理上是类似的。
一、什么是编码?
什么是编码?这要从「文件」的概念说起。根据呈现形式,文件可分为两种类型:「文本文件」和「二进制文件」。
二者的区别非常明显,文本文件中保存的是各种字符,包括英文字母如 abc
、汉字如 你好
、日文如 こんにちは
等;而二进制文件中保存的则是 0101
等二进制数值。如果你用 Sublime Text 分别打开文本文件和二进制文件,那么它们呈现的样子大致如下:
注:我们习惯采用十六进制的方式简化二进制数据的显示,这样对人类用户稍微友好一些,避免了过长的
0-1
串使得人们眼花缭乱。
为什么会产生这两种类型的文件呢?一个非常直接的原因是,文本文件主要是给人类用户看的,例如我们常使用的 txt、markdown 文件,各种代码文件如 .cpp
、.java
、.py
、.js
等,以及各种配置文件如 .ini
、.json
等;而二进制文件则是给操作系统或应用程序看的,如 .exe
交给 Windows 系统执行、Word 文档交给 Office Word 软件打开、.class
文件交给 java 虚拟机执行,许多应用程序都会设计自己专用的二进制文件格式。
尽管我们把文件分为文本文件和二进制文件两种类型,但从计算机硬件层面上来看,它只能存储 0101
这样的二进制数据,不可能直接存储 abc
这样的字符。那么该如何解释文本文件的存在呢?
事实上,从存储方式上来看,文件确实只有一种类型,那就是二进制文件。至于文本文件,它只是二进制文件的一种特殊情况。在计算机最初发明的时候,确实只有二进制文件,那时的人们通过「打孔的纸带」作为存储程序的载体,而纸带上小孔的有无就代表二进制的 1 和 0。那时候的计算机根本没有字符的概念,更不要说文本文件。
后来,人们为了方便就制定了一套规则,规定二进制数值 01100001
代表字符 a
、01100010
代表字符 b
、……、01111010
代表字符 z
。于是,最早的编码「ASCII 编码」就产生了。现在,如果我在一个文件中写入二进制数据 011000010110001001100011
,从表面上看,它就是一个常规的二进制文件,没有任何特殊之处,但如果我用 ASCII 编码的规则去解释它,就会看到一串字符 abc
。这时候,我们就可以认为这个文件是文本文件。
从上面的描述中,你应该已经发现:
<