编码与乱码——追根究底

最新推荐文章于 2023-04-04 19:02:11 发布

Henry606

最新推荐文章于 2023-04-04 19:02:11 发布

阅读量537

点赞数

分类专栏：基础知识文章标签：编码 UTF8 Unicode Sublime

本文链接：https://blog.csdn.net/HaleyPKU/article/details/81054696

版权

本文探讨了编码和乱码的基本概念，分析了编程中出现乱码的原因，包括过程1（代码文件编码与编译器输入编码）和过程2（编译器输出编码与展示器输入编码）的问题。通过Sublime Text示例，展示了不同乱码类型的产生，并提供了解决问题的思路。

摘要由CSDN通过智能技术生成

原文发表自我的简书

乱码问题是不但是新手程序员之痛，也常常让许多资深 coder 束手无策。最近在社区接连收到关于乱码问题的求助，五花八门，我觉得是时候深入讨论一下这个问题了。本文试图让读者深入理解编码的概念以及乱码的产生的原理，以至于今后再遇到乱码问题，能够独立分析、解决。
由于 Sublime Text 是笔者最青睐的编辑器，因此文中的所有截图和实验均以 Sublime Text 为例，其他编辑器或 IDE 在原理上是类似的。

一、什么是编码？

什么是编码？这要从「文件」的概念说起。根据呈现形式，文件可分为两种类型：「文本文件」和「二进制文件」。

二者的区别非常明显，文本文件中保存的是各种字符，包括英文字母如 abc、汉字如 你好、日文如 こんにちは 等；而二进制文件中保存的则是 0101 等二进制数值。如果你用 Sublime Text 分别打开文本文件和二进制文件，那么它们呈现的样子大致如下：

文本文件与二进制文件

注：我们习惯采用十六进制的方式简化二进制数据的显示，这样对人类用户稍微友好一些，避免了过长的 0-1 串使得人们眼花缭乱。

为什么会产生这两种类型的文件呢？一个非常直接的原因是，文本文件主要是给人类用户看的，例如我们常使用的 txt、markdown 文件，各种代码文件如 .cpp、.java、.py、.js 等，以及各种配置文件如 .ini、.json 等；而二进制文件则是给操作系统或应用程序看的，如 .exe 交给 Windows 系统执行、Word 文档交给 Office Word 软件打开、.class 文件交给 java 虚拟机执行，许多应用程序都会设计自己专用的二进制文件格式。

尽管我们把文件分为文本文件和二进制文件两种类型，但从计算机硬件层面上来看，它只能存储 0101 这样的二进制数据，不可能直接存储 abc 这样的字符。那么该如何解释文本文件的存在呢？

事实上，从存储方式上来看，文件确实只有一种类型，那就是二进制文件。至于文本文件，它只是二进制文件的一种特殊情况。在计算机最初发明的时候，确实只有二进制文件，那时的人们通过「打孔的纸带」作为存储程序的载体，而纸带上小孔的有无就代表二进制的 1 和 0。那时候的计算机根本没有字符的概念，更不要说文本文件。

后来，人们为了方便就制定了一套规则，规定二进制数值 01100001 代表字符 a、01100010 代表字符 b、……、01111010 代表字符 z。于是，最早的编码「ASCII 编码」就产生了。现在，如果我在一个文件中写入二进制数据 011000010110001001100011，从表面上看，它就是一个常规的二进制文件，没有任何特殊之处，但如果我用 ASCII 编码的规则去解释它，就会看到一串字符 abc。这时候，我们就可以认为这个文件是文本文件。

从上面的描述中，你应该已经发现：