字符编码的那些事儿

计算机自己能理解的“语言”是二进制数，最小的信息标识是二进制位，8个二进制位表示一个字节；而我们人类所能理解的语言文字则是一套由英文字母、汉语汉字、标点符号字符、阿拉伯数字等等很多的字符构成的字符集。如果要让计算机来按照人类的意愿进行工作，则必须把人类所使用的这些字符集转换为计算机所能理解的二级制码，这个过程就是编码，他的逆过程称为解码。

从ASCII到Unicode

20世纪60年代初期，美国发布了第一个计算机字符集--ASCII。这个字符集采用7位编码，定义了包括英文字母大小写、阿拉伯字母和标点符号，以及33个控制符号等。这些字符被映射到128个8位的二进制数上，这些数最高位置0，那么就是0x00~0x7F了，这以方案就是ISO-646。

后来随着计算机的普及，欧洲非英文国家发现美国这套字符集不够用，于是将最高位也用上了，于是多了128个二进制值，这一方案是ISO8859-1，通常叫做Latin-1。

虽然总共有了256个字符，但是对于我们中文来说是远远不够的，后来我们中国弄出了GB2312-1980。这个字符集共收录了6763个汉字和682个非汉字图形字符，采用两个字节对字符进行编码，并且它兼容ASCII编码方式。后面生僻字、繁体字以及日韩汉字的加入，就有了GBK编码规范。

这样大家都是自己的编码规范是不行的，后面大家统一方式，采用了Unicode的最新编码方式。Unicode字符集涵盖了世界上所有的文字和符号字符，它位每一个字符指定了统一且唯一的二进制编码。注意，Unicode只是规定了每个字符的二进制代码，并没有规定它如何存储。

UTF-8

由于Unicode没有规定编码方式，但是如果我们将每个字符都用相同长度的字节来表示，那将会造成很大的存储空间浪费。想想，对于ASCII最基本的那128个字符，如果都按照最长字节数来编码，那些高位的0的空间岂不是都浪费了。这个时候，就推出了UTF-8以及UTF-16这些编码方式。

UTF-8 是一个非常惊艳的编码方式，漂亮的实现了对 ASCII 码的向后兼容，以保证 Unicode 可以被大众接受。

UTF-8 是目前互联网上使用最广泛的一种 Unicode 编码方式，它的最大特点就是可变长。它可以使用 1 - 4 个字节表示一个字符，根据字符的不同变换长度。编码规则如下：

1、对于单个字节的字符，第一位设为 0，后面的 7 位对应这个字符的 Unicode 码点。因此，对于英文中的 0 - 127 号字符，与 ASCII 码完全相同。这意味着 ASCII 码那个年代的文档用 UTF-8 编码打开完全没有问题。

2、对于需要使用 N 个字节来表示的字符（N > 1），第一个字节的前 N 位都设为 1，第 N + 1 位设为0，剩余的 N - 1 个字节的前两位都设位 10，剩下的二进制位则使用这个字符的 Unicode 码点来填充。

编码规则如下：

根据上面编码规则对照表，进行 UTF-8 编码和解码就简单多了。下面以汉字“汉”为利，具体说明如何进行 UTF-8 编码和解码。

“汉”的 Unicode 码点是 0x6c49（110 1100 0100 1001），通过上面的对照表可以发现，0x0000 6c49 位于第三行的范围，那么得出其格式为 1110xxxx 10xxxxxx 10xxxxxx。接着，从“汉”的二进制数最后一位开始，从后向前依次填充对应格式中的 x，多出的 x 用 0 补上。这样，就得到了“汉”的 UTF-8 编码为 11100110 10110001 10001001，转换成十六进制就是 0xE6 0xB1 0x89。

解码的过程也十分简单：如果一个字节的第一位是 0 ，则说明这个字节对应一个字符；如果一个字节的第一位1，那么连续有多少个 1，就表示该字符占用多少个字节。

UTF-16

在了解 UTF-16 编码方式之前，先了解一下另外一个概念——“平面”。

在上面的介绍中，提到了 Unicode 是一本很厚的字典，她将全世界所有的字符定义在一个集合里。这么多的字符不是一次性定义的，而是分区定义。每个区可以存放 65536 个（2^16）字符，称为一个平面（plane）。目前，一共有 17 个（2^5）平面，也就是说，整个 Unicode 字符集的大小现在是 2^21。

最前面的 65536 个字符位，称为基本平面（简称 BMP ），它的码点范围是从 0 到 2^16-1，写成 16 进制就是从 0x0000 到 0xFFFF。所有最常见的字符都放在这个平面，这是 Unicode 最先定义和公布的一个平面。剩下的字符都放在辅助平面（简称 SMP ），码点范围从 0x010000 到0x10FFFF。

基本了解了平面的概念后，再说回到 UTF-16。UTF-16 编码介于 UTF-32 与 UTF-8 之间，同时结合了定长和变长两种编码方法的特点。它的编码规则很简单：基本平面的字符占用 2 个字节，辅助平面的字符占用 4 个字节。也就是说，UTF-16 的编码长度要么是 2 个字节（0x0000 到 0xFFFF），要么是 4 个字节（0x010000 到 0x10FFFF）。那么问题来了，当我们遇到两个字节时，到底是把这两个字节当作一个字符还是与后面的两个字节一起当作一个字符呢？

这里有一个很巧妙的地方，在基本平面内，从 0xD800 到 0xDFFF 是一个空段，即这些码点不对应任何字符。因此，这个空段可以用来映射辅助平面的字符。

辅助平面的字符位共有 2^20 个，因此表示这些字符至少需要 20 个二进制位。UTF-16 将这 20 个二进制位分成两半，前10位映射在0xD800到0xDBFF，称为高位（H），后 10 位映射在0xDC00 到0xDFFF，称为低位（L）。这意味着，一个辅助平面的字符，被拆成两个基本平面的字符表示。

因此，当我们遇到两个字节，发现它的码点在0xD800 到 0xDBFF 之间，就可以断定，紧跟在后面的两个字节的码点，应该在0xDC00 到0xDFFF 之间，这四个字节必须放在一起解读。其实就是下面这张图。

根据上面的转换方式，我们就能够将Unicode码根据UTF-16的编码方式进行转换。下面我们仍然通过两个例子来看下：

U+0020，这个值的范围在第一部分，即经过UTF-16编码后，结果仍然为U+0020，在内存中的顺序为00 20。

U+12345, 这个值的范围在第二部分，因此需要先减去0x10000，得到0x02345，拆分成高10位00 0000 1000和低10位11 0100 0101。根据上面规则加上特定值后，高位代理值为D808，低位代理值为DF45，最终内存中的顺序为D8 08 DF 45。

UTF-32

UTF-32 是固定长度的编码，始终占用 4 个字节，足以容纳所有的 Unicode 字符，所以直接存储 Unicode 编号即可，不需要任何编码转换。浪费了空间，提高了效率。

总结就是，只有 UTF-8 兼容 ASCII，UTF-32 和 UTF-16 都不兼容 ASCII，因为它们没有单字节编码。

https://blog.csdn.net/guxiaonuan/article/details/78678043

https://blog.csdn.net/hezh1994/article/details/78899683

https://zhuanlan.zhihu.com/p/29318105

《深入浅出MySQL》