你所不了解的字符编码

最新推荐文章于 2023-04-17 22:12:57 发布

BUG弄潮儿

最新推荐文章于 2023-04-17 22:12:57 发布

阅读量702

点赞数

文章标签： unicode isp 网络通信 gbk webrtc

前言

在我的工作中，常常会遇到形形色色的字符编码，对于各种编码技术本人了解的也不是很多。
本篇是我了解编码系列的开篇，主要内容讲述字符编码的基本概念，然后介绍一下常见的字符编码，最后说明一下 Java 中如何编解码?

什么是字符编码？

字符编码也称字集码，是把字符集中的字符编码为指定集合中某一对象（例如：比特模式、自然数序列、8 位组或者电脉冲），以便文本在计算机中存储和通过通信网络的传递。

编码及编码格式

编码是用预先规定的方法将文字、数字或其它对象编成数码，或将信息、数据转换成规定的电脉冲信号。为保证编码的正确性，编码要规范化、标准化，即需有标准的编码格式。常见的编码格式有 ASCII、ISO-8859-1、GB2312、GBK、GB18030、UTF-8、UTF-16 等。

常见的字符编码

ASCII/EASCII

ASCII（American Standard Code for Information Interchange，美国标准信息交换码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言，是现今最通用的单字节编码系统。

EASCII(Extended ASCII，延伸美国标准信息交换码)是将 ASCII 码由 7 位扩充为 8 位（增加了 128 个）而成。EASCII 的内码是由 0 到 255 共有 256 个字符组成。EASCII 码比 ASCII 码扩充出来的符号包括表格符号、计算符号、希腊字母和特殊的拉丁符号。

ASCII 码使用指定的 7 位或 8 位二进制数组合来表示 128 或 256 种可能的字符。标准 ASCII 码也叫基础 ASCII 码，使用 7 位二进制数（剩下的 1 位二进制为 0）来表示所有的大写和小写字母，数字 0 到 9、标点符号，以及在美式英语中使用的特殊控制字符。32～126(共 95 个)是字符(32 是空格），其中 48～57 为 0 到 9 十个阿拉伯数字，65～90 为 26 个大写英文字母，97～122 号为 26 个小写英文字母，其余为一些标点符号、运算符号等。

ISO-8859-1

ISO-8859（拉丁码表，欧洲码表）是国际标准化组织（ISO）及国际电工委员会（IEC）联合制定的一系列 8 位字符集的标准。

ISO-8859-1 编码是单字节编码，向下兼容 ASCII，其编码范围是 0x00-0xFF，0x00-0x7F 之间完全和 ASCII 一致，0x80-0x9F 之间是控制字符，0xA0-0xFF 之间是文字符号。

GB2312/GBK/GB18030

GB2312

GB2312《信息交换用汉字编码字符集》是由中国国家标准总局 1980 年发布，GB 是 “国标” 二字的汉语拼音缩写，GB2312 编码适用于汉字处理、汉字通信等系统之间的信息交换，基本集共收入汉字 6763 个（从 B0-F7 是汉字区）和非汉字图形字符 682 个（其中从 A1-A9 是符号区）。整个字符集分成 94 个区(A1-FE)，每区有 94 个位，总的编码范围是 A1-F7。每个区位上只有一个字符，因此可用所在的区和位来对汉字进行编码，称为区位码。

GB2312 简体中文编码表，GB2312 只是编码表，在计算机中通常都是用 “EUC-CN” 表示法，即在每个区位加上 0xA0 来表示。区和位分别占用一个字节。

举例来说，“啊”字是 GB2312 之中的第一个汉字，它的区位码就是 1601。字节编码，通常采用 EUC 储存方法，以便兼容于 ASCII。每个汉字及符号以两个字节来表示。第一个字节称为 “高位字节”，第二个字节称为“低位字节”。“高位字节” 使用了 0xA1-0xF7(把 01-87 区的区号加上 0xA0)，“低位字节”使用了 0xA1-0xFE(把 01-94 加上 0xA0)。例如 “啊” 字在大多数程序中，会以 0xB0A1 储存（与区位码对比：0xB0=0xA0+16,0xA1=0xA0+1）。

GBK

GBK 全称《汉字内码扩展规范》（GBK 即 “国标”、“扩展” 汉语拼音的第一个字母）。GBK 编码，是在 GB2312-80 标准基础上的内码扩展规范，使用了双字节编码方案。

GBK 亦采用双字节表示，总体编码范围为 8140-FEFE，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 xx7F 一条线。总计 23940 个码位，共收入 21886 个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号 883 个。

GB18030

GB18030 编码采用单字节、双字节、四字节分段编码方案，具体码位见下文。GB18030 向下兼容 GBK 和 GB2312 编码。

GB18030-2005 收录了 70244 个汉字

一图弄懂 ASCII、GB2312、GBK、GB18030 编码

UTF-8/UTF-16

Unicode

Unicode（统一码、万国码、单一码），Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。Unicode 通常用两个字节表示一个字符，原有的英文编码从单字节变成双字节，只需要把高字节全部填为 0 就可以。

Unicode 是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。目前的 Unicode 字符分为 17 组编排，0x0000 至 0x10FFFF，每组称为平面（Plane），而每平面拥有 65536 个码位，共 1114112 个。然而目前只用了少数平面。UTF-8、UTF-16、UTF-32 都是将数字转换到程序数据的编码方案。

最初的 unicode 编码是固定长度的，16 位，也就是 2 两个字节代表一个字符，这样一共可以表示 65536 个字符(即 0 号平面，基本多文种平面)。显然，这样要表示各种语言中所有的字符是远远不够的。Unicode4.0 规范考虑到了这种情况，定义了一组附加字符编码，附加字符编码采用 2 个 16 位来表示，这样最多可以定义 1048576 个附加字符，目前 unicode4.0 只定义了 45960 个附加字符。

Unicode 编码方案
之前提到，Unicode 没有规定字符对应的二进制码如何存储。以汉字 “汉” 为例，它的 Unicode 码点是 0x6c49，对应的二进制数是 110110001001001，二进制数有 15 位，这也就说明了它至少需要 2 个字节来表示。可以想象，在 Unicode 字典中往后的字符可能就需要 3 个字节或者 4 个字节，甚至更多字节来表示了。
这就导致了一些问题，计算机怎么知道你这个 2 个字节表示的是一个字符，而不是分别表示两个字符呢？这里我们可能会想到，那就取个最大的，假如 Unicode 中最大的字符用 4 字节就可以表示了，那么我们就将所有的字符都用 4 个字节来表示，不够的就往前面补 0。这样确实可以解决编码问题，但是却造成了空间的极大浪费，如果是一个英文文档，那文件大小就大出了 3 倍，这显然是无法接受的。于是，为了较好的解决 Unicode 的编码问题，UTF-8 和 UTF-16 两种当前比较流行的编码方式诞生了。

UTF-8

UTF-8 是一种针对 Unicode 的可变长度字符编码，是目前互联网上使用最广泛的一种 Unicode 编码方式，它的最大特点就是可变长。它可以使用 1-4 个字节表示一个字符，根据字符的不同变换长度。编码规则如下：

对于单个字节的字符，第一位设为 0，后面的 7 位对应这个字符的 Unicode 码点。因此，对于英文中的 0-127 号字符，与 ASCII 码完全相同。这意味着 ASCII 码那个年代的文档用 UTF-8 编码打开完全没有问题。
对于需要使用 N 个字节来表示的字符（N>1），第一个字节的前 N 位都设为 1，第 N+1 位设为 0，剩余的 N-1 个字节的前两位都设位 10，剩下的二进制位则使用这个字符的 Unicode 码点来填充。
编码规则如下：

Unicode 十六进制码点范围	UTF-8 二进制
0000 0000 - 0000 007F	0xxxxxxx
0000 0080 - 0000 07FF	110xxxxx 10xxxxxx
0000 0800 - 0000 FFFF	1110xxxx 10xxxxxx 10xxxxxx
0001 0000 - 0010 FFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

下面以汉字 “汉” 为利，具体说明如何进行 UTF-8 编码和解码。

“汉”的 Unicode 码点是 0x6c49（110 1100 0100 1001），通过上面的对照表可以发现，0x0000 6c49 位于第三行的范围，那么得出其格式为 1110xxxx 10xxxxxx 10xxxxxx。接着，从 “汉” 的二进制数最后一位开始，从后向前依次填充对应格式中的 x，多出的 x 用 0 补上。这样，就得到了 “汉” 的 UTF-8 编码为 11100110 10110001 10001001，转换成十六进制就是 0xE6 0xB7 0x89。
解码的过程也十分简单：如果一个字节的第一位是 0，则说明这个字节对应一个字符；如果一个字节的第一位 1，那么连续有多少个 1，就表示该字符占用多少个字节。

UTF-16

UTF-16 编码介于 UTF-32 与 UTF-8 之间，同时结合了定长和变长两种编码方法的特点。它的编码规则很简单：基本平面的字符占用 2 个字节，辅助平面的字符占用 4 个字节。也就是说，UTF-16 的编码长度要么是 2 个字节（U+0000 到 U+FFFF），要么是 4 个字节（U+010000 到 U+10FFFF）。

那么问题来了，当我们遇到两个字节时，到底是把这两个字节当作一个字符还是与后面的两个字节一起当作一个字符呢？
这里有一个很巧妙的地方，在基本平面内，从 U+D800 到 U+DFFF 是一个空段，即这些码点不对应任何字符。因此，这个空段可以用来映射辅助平面的字符。
辅助平面的字符位共有 2^20 个，因此表示这些字符至少需要 20 个二进制位。UTF-16 将这 20 个二进制位分成两半，前 10 位映射在 U+D800 到 U+DBFF，称为高位（H），后 10 位映射在 U+DC00 到 U+DFFF，称为低位（L）。这意味着，一个辅助平面的字符，被拆成两个基本平面的字符表示。
因此，当我们遇到两个字节，发现它的码点在 U+D800 到 U+DBFF 之间，就可以断定，紧跟在后面的两个字节的码点，应该在 U+DC00 到 U+DFFF 之间，这四个字节必须放在一起解读。

接下来，以汉字 “????” 为例，说明 UTF-16 编码方式是如何工作的。

汉字 “????” 的 Unicode 码点为 0x20BB7，该码点显然超出了基本平面的范围（0x0000-0xFFFF），因此需要使用四个字节表示。首先用 0x20BB7-0x10000 计算出超出的部分，然后将其用 20 个二进制位表示（不足前面补 0），结果为 00010000101110110111。接着，将前 10 位映射到 U+D800 到 U+DBFF 之间，后 10 位映射到 U+DC00 到 U+DFFF 即可。U+D800 对应的二进制数为 1101100000000000，直接填充后面的 10 个二进制位即可，得到 1101100001000010，转成 16 进制数则为 0xD842。同理可得，低位为 0xDFB7。因此得出汉字 “????” 的 UTF-16 编码为 0xD8420xDFB7。

Java 中如何编解码?

下面我们以 “I am 君山” 这个字符串为例介绍 Java 中如何把它以 ISO-8859-1、GB2312、GBK、UTF-16、UTF-8 编码格式进行编码的。

String name = "I am 君山";
byte[] iso8859 = name.getBytes("ISO-8859-1");
byte[] gb2312 = name.getBytes("GB2312");
byte[] gbk = name.getBytes("GBK");
byte[] utf16 = name.getBytes("UTF-16");
byte[] utf8 = name.getBytes("UTF-8");

ISO-8859-1 编码

ISO-8859-1 是单字节编码，中文 “君山” 被转化成值是 3f 的 byte。3f 也就是 “？” 字符，所以经常会出现中文变成 “？” 很可能就是错误的使用了 ISO-8859-1 这个编码导致的。中文字符经过 ISO-8859-1 编码会丢失信息，通常我们称之为“黑洞”，它会把不认识的字符吸收掉。

GB2312 编码

GB2312 字符集有一个 char 到 byte 的码表，不同的字符编码就是查这个码表找到与每个字符的对应的字节，然后拼装成 byte 数组。

GBK 编码

UTF-16 编码

用 UTF-16 编码将 char 数组放大了一倍，单字节范围内的字符，在高位补 0 变成两个字节，中文字符也变成两个字节。从 UTF-16 编码规则来看，仅仅将字符的高位和地位进行拆分变成两个字节。

UTF-8 编码

UTF-16 虽然编码效率很高，但是对单字节范围内字符也放大了一倍，这无形也浪费了存储空间，另外 UTF-16 采用顺序编码，不能对单个字符的编码值进行校验，如果中间的一个字符码值损坏，后面的所有码值都将受影响。而 UTF-8 这些问题都不存在，UTF-8 对单字节范围内字符仍然用一个字节表示，对汉字采用三个字节表示。UTF-8 编码与 GBK 和 GB2312 不同，不用查码表，所以在编码效率上 UTF-8 的效率会更好。

小知识点

[1].\uxxxx: 其中 xxxx 表示一个 16 进制数字，这种格式是 unicode 码的写法。
[2].0xf: 表示十进制数 15，在 java 中以 0x 开头的数表示十六进制数(如 0x1,0xa)。
[3].03: 表示八进制数 3，在 java 中以 0 开头的数表示八进制数(如 012,03)。