编码与解码

什么是编码与解码

电脑是由电路板组成，电路板里面集成了无数的电阻和电容， 交流电经过电容的时候，电压比较低 记为低电平 ， 用0表示，交流电流过电阻的时候，电压比较高，记为高电平，用1来表示； 所以每一个1 和0 在计算机中被称为
位，也就是bit位。然而，如果使用一个位来表示计算机中的最小存储单元， 那么这个存储单元只能存储0或者1，
存储的范围太小了，所以我们规定用用8个bit位为一组 来表示 计算机的最小存储单元。 8个位 每个位上能存储0或 者1，则byte的存储范围则是 00000000-11111111（换算成整数即0-255）。 这个最小存储单元 就是byte 字节。
计算机的底层只能存储0和1，如果是日常生活中遇到的数字 比如 127 ，这个可以通过10进制和二进制的转换从而
让计算机存储01111111，但是如果计算机存储类似于汉字、英文字符、符号字符等内容，是如何存储的呢？

根据上图解释说明，计算机提供了很多的编码表记录了字符和数字的一一对应关系，编码就是把字符对应编码表中
的码值存储在电脑中，而解码则是把码值在编码表中的对应的字符展现出来。

注意：计算机中存储一个数 是用二进制来表示的，比如 存储127，那么计算机的底层是 0111 1111，人看这些二进 制的数通常都是眼花缭乱的，如何方便而规整的表示这些二进制数呢，不妨引入十六进制。二进制换算成十六进制，则 是每四位为一组转换为16进制数即可， 比如0111 1111 这个数前4位 0111 转换为 7 ， 后4位转换为F， 则最终 的16进制数是 7F，一般我繁琐的二进制数使用十六进制数来表示会比较方便规整，所以人们习惯用十六进制数来表示 码值。

计算机提供了哪些编码表呢？

常见的编码表

ASCII

世界上虽然有各种各样的字符，但计算机发明之初没有考虑那么多，基本上只考虑了美国的需求，美国大概只需要
128个字符，美国就规定了这128个字符的二进制表示方法，这个方法是一个标准，称为ASCII编码，全称是
American Standard Code for Information Interchange，美国信息互换标准代码。128个字符用7个位刚好可以表
示，计算机存储的最小单位是byte，即8位，ASCII码中最高位设置为0，用剩下的7位表示字符。这7位可以看做数
字0到127，ASCII码规定了从0到127个，每个数字代表什么含义。我们先来看数字32到126的含义，如下图所示，
除了中文之外，我们平常用的字符基本都涵盖了，键盘上的字符大部分也都涵盖了。

数字32到126表示的这些字符都是可打印字符，0到31和127表示一些不可以打印的字符，这些字符一般用于控制
目的，这些字符中大部分都是不常用的，下表列出了其中相对常用的字符。

Ascii码对美国是够用了，但对别的国家而言却是不够的，于是，各个国家的各种计算机厂商就发明了各种各样的编
码方式以表示自己国家的字符，为了保持与Ascii码的兼容性，一般都是将最高位设置为1。也就是说，当最高位为0
时，表示Ascii码，当为1时就是各个国家自己的字符。在这些扩展的编码中，在西欧国家中流行的是ISO 8859-1和
Windows-1252，在中国是GB2312，GBK，GB18030和Big5，我们逐个来研究这些编码。

ISO-8859-1
ISO 8859-1又称Latin-1，它也是使用一个字节表示一个字符，因为西欧的文字也都是字母拼接，只不过不是26个
英文字母罢了，其中0到127与Ascii一样，128到255规定了不同的含义。在128到255中，128到159表示一些控制
字符，这些字符也不常用，就不介绍了。160到255表示一些西欧字符，如下图所示：

windows-1252
ISO 8859-1虽然号称是标准，用于西欧国家，但它连欧元(€) 这个符号都没有，因为欧元比较晚，而标准比较早。
实际使用中更为广泛的是Windows-1252编码，这个编码与ISO8859-1基本是一样的，区别 只在于数字128到
159，Windows-1252使用其中的一些数字表示可打印字符，这些数字表示的含义，如下图所示：

这个编码中加入了欧元符号以及一些其他常用的字符。基本上可以认为，ISO 8859-1已被Windows-1252取代，在
很多应用程序中，即使文件声明它采用的是ISO 8859-1编码，解析的时候依然被当做Windows-1252编码。
HTML5 甚至明确规定，如果文件声明的是ISO 8859-1编码，它应该被看做Windows-1252编码。为什么要这样
呢？因为大部分人搞不清楚ISO 8859-1和Windows-1252的区别，当他说ISO 8859-1的时候，其实他实际指的是
Windows-1252，所以标准干脆就这么强制了。

GB2312

美国和西欧字符用一个字节就够了，但中文显然是不够的。中文第一个标准是GB2312。GB2312标准主要针对的
是简体中文常见字符，包括约7000个汉字，不包括一些罕见词，不包括繁体字。GB2312固定使用两个字节表示汉
字，在这两个字节中，最高位都是1，如果是0，就认为是Ascii字符。在这两个字节中，其中第一个字节范围是
1010 0001(十进制161) - 1111 0111(十进制247)，第二个字节范围是1010 0001(十进制161) - 1111 1110(十进制
254)。 比如，"贤哥"的GB2312编码是

贤	哥
CF，CD	B8，E7

为了方便的查看二进制 和 十进制 和 十六进制的转换 ，可以使用下面的两个方法。

/** 格式化打印：0b1111 -> 二进制: 1111 十进制: 15 十六进制: F */

private static void printFormatFromBinary(int binary) {
	System.out.println("二进制: "+Integer.toBinaryString(binary)+" 十进制: "+binary+" 十六进制: "+Integer.toHexString(binary).toUpperCase()); 
}

/** 格式化打印：0xFF -> 二进制: 11111111 十进制: 255 十六进制: F */
private static void printFormatFromHex(int hex){ 
	System.out.println("二进制: "+Integer.toBinaryString(hex)+" 十进制: "+hex+" 十六进 制: "+Integer.toHexString(hex).toUpperCase());
}

GBK

GBK建立在GB2312的基础上，向下兼容GB2312，也就是说，GB2312编码的字符的二进制表示，在GBK编码里是
完全一样的。GBK增加了一万四千多个汉字，共计约21000汉字，其中包括繁体字。GBK同样使用固定的两个字节
表示，其中第一个字节范围是1000 0001(十进制129) - 1111 1110(十进制254)，第二个字节范围是0100 0000(十进
制64) - 0111 1110(十进制126)和1000 0000(十进制128) - 1111 1110(十进制254)。 需要注意的是，第二个字节是
从64开始的（64属于byte正数范围，和ASCII的编码重合了），也就是说，第二个字节最高位可能为0。那怎么知道
它是汉字的一部分，还是一个ASCII字符呢？ 其实很简单，因为汉字是用固定两个字节表示的，在解析二进制流的
时候，如果第一个字节的最高位为1，那么就将下一个字节读进来一起解析为一个汉字，而不用考虑它的最高位，
解析完后，跳到第三个字节继续解析。
GB18030
GB18030向下兼容GBK，增加了五万五千多个字符，共七万六千多个字符。包括了很多少数民族字符，以及中日韩
统一字符。用两个字节已经表示不了GB18030中的所有字符，GB18030使用变长编码，有的字符是两个字节，有
的是四个字节。在两字节编码中，字节表示范围与GBK一样。在四字节编码中，第一个字节的值从1000 0001(十进
制129) 到11111110(十进制254)，第二个字节的值从0011 0000(十进制48)到0011 1001(十进制57)，第三个字节
的值从1000 0001(十进制129) 到11111110(十进制254)，第四个字节的值从0011 0000(十进制48)到0011 1001(十
进制57)。 解析二进制时，如何知道是两个字节还是四个字节表示一个字符呢？很简单，看第二个字节的范围，如
果是48到57就是四个字节表示，因为两个字节编码中第二字节都比这个大。所以这样综合说明GB18030兼容
GBK，兼容GB2312，兼容ASCII，但是GB18030，GBK，GB2312这三个编码和ISO8859-1是不兼容的哦。

Big5

Big5是针对繁体中文的，广泛用于台湾香港等地。Big5包括1万3千多个繁体字，和GB2312类似，一个字符同样固
定使用两个字节表示。在这两个字节中，第一个字节范围是10000001(十进制129) 到1111 1110(十进制254)，第
二个字节范围是0100 0000(十进制64) - 0111 1110(十进制126) 和1010 0001(十进制161) - 1111 1110(十进制
254)。Big5和GB18030，GBK，GB2312不兼容哈，如果已经理解了上文，其实你就能理解为什么Big5和GB的三
个编码为什么不兼容了。

编码表汇总

我们简单汇总一下上面的内容。Ascii码是基础，一个字节表示，最高位设为0，其他7位表示128个字符。其他编码都是兼容Ascii的，最高位使用1来进行区分。西欧主要使用Windows-1252，使用一个字节，增加了额外128个字符。中文大陆地区的三个主要编码GB2312，GBK，GB18030，有时间先后关系，表示的字符数越来越多，且后面的兼容前面的，GB2312和GBK都是用两个字节表示，而GB18030则使用两个或四个字节表示。香港台湾地区的主要编码是Big5。 如果文本里的字符都是Ascii码字符，那么采用以上所说的任一编码方式都是一样的，不会乱码。但如果有高位为1的字符，除了GB2312/GBK/GB18030外，其他编码都是不兼容的，比如，Windows-1252和中文的各种编码是不兼容的，即使Big5和GB18030都能表示繁体字，其表示方式也是不一样的，而这就会出现所谓的乱码。

乱码和兼容
兼容：GB2312/GBK/GB18030 ASCII是兼容的 比如我们文本里面 a字符，使用这四种码表任何一种都是可以正常显示的。
windows-1252和ISO-8859-1 和ASCII是兼容的
Big5和ASCII是兼容的，但是 西欧编码 和 Big5 以及 GB系列的编码 他们相互之间是不兼容的，也就是 同样的码值在三种编码表中显示的内
容是不一样的。

乱码：如果编码的时候同一种编码表，而解码的时候通过的却是一种不兼容的编码表，则就就会出现乱码现象。

Unicode

以上我们介绍了中文和西欧的字符与编码，但世界上还有很多的国家的字符，每个国家的各种计算机厂商都对自己常用的字符进行编码，在编码的时候基本忽略了别的国家的字符和编码，甚至忽略了同一国家的其他计算机厂商，这样造成的结果就是，出现了太多的编码，且互相不兼容。
世界上所有的字符能不能统一编码呢？可以，这就是Unicode。
Unicode 做了一件事，就是给世界上所有字符都分配了一个唯一的数字编号，这个编号范围从0x000000到
0x10FFFF，包括110多万。但大部分常用字符都 在0x0000到0xFFFF之间，即65536个数字之内。每个字符都有一个Unicode编号，这个编号一般写成16进制，在前面加U+。大部分中文 的编号范围在U+4E00到U+9FA5，例如，"贤"的Unicode是U+8D24。
Unicode就做了这么 一件事，就是给所有字符分配了唯一数字编号。它并没有规定这个编号怎么对应到二进制表示，这是与上面介绍的其他编码不同的，其他编码都既规定了能表示哪些 字符，又规定了每个字符对应的二进制是什么，而Unicode本身只规定了每个字符的数字编号是多少。

1990年开始研发，1994年正式公布。随着计算机工作能力的增强，Unicode也在面世以来的十多年里得到普及。 Unicode6.3版已发布(2013年11月)。在Unicode联盟网站上可以查看完整的6.3的核心规范。 Unicode定义了大到足以代表人类所有可读字符的字符集。 Unicode其实应该是一个码值表。Unicode的功用是为每一个字符提供一个唯一的数字码，而对数字码的存储规则的定 义则需要依靠UTF-8/UTF-16/UTF-32 UTF-8/UTF-16/UTF-32是通过对Unicode码值进行对应规则转换后，编码保持到内存/文件中。UTF-8/UTF-16都是 可变长度的编码方式。

那编号怎么对应到二进制表示呢？有多种方案，主要有UTF-32, UTF-16和UTF-8。

UTF-32
这个最简单，就是字符编号的整数二进制形式，四个字节。

但有个细节，就是字节的排列顺序，如果第一个字节是整数二进制中的最高位，最后一个字节是整数二进制中的最
低位，那这种字节序就叫“大端”（Big Endian, BE），否则，正好相反的情况，就叫“小端”（Little Endian, LE）。
对应的编码方式分别是UTF-32BE和UTF-32LE。比如

注意:之所以有大端和小端两种方式，是因为硬件读写顺序的不同。 大端：数据的高字节保存在内存的低地址中，低字节保存到内存的高地址中，和我们的阅读习惯一致；小端则相反，常 用的X86结构是小端模式。采用大端方式进行数据存放符合人类的正常思维，而采用小端方式进行数据存放利于计算机 处理。

可以看出，每个字符都用四个字节表示，非常浪费空间，实际采用的也比较少。

注意：UTF-32是因为UTF-16编码方式不能表示全部的字符而扩充的编码方式

UTF-16

在了解 UTF-16 编码方式之前，先了解一下另外一个概念——“平面”。

在上面的介绍中，提到了 Unicode 是一本很厚的字典,她将全世界所有的字符定义在一个集合里。这么多的字符不是一次性定义的，而是分区定义。每个区可以存放 65536 个（ 2^16 ）字符，称为一个平面（plane）。目前，一共有 17 个（ 2^5 ）平面（65536*17 = 1,114,112 也就是110万），也就是说，整个 Unicode 字符集的大小现在是 2^21 。
最前面的 65536 个字符位，称为基本平面（简称 BMP ），它的码点范围是从 0 到 2^16-1 ，写成 16 进制就是从U+0000 到 U+FFFF。所有最常见的字符都放在这个平面，这是 Unicode 最先定义和公布的一个平面。剩下的字符都放在辅助平面（简称 SMP ），码点范围从U+010000 到 U+10FFFF。基本了解了平面的概念后，再说回到 UTF-16。UTF-16 编码介于 UTF-32 与 UTF-8 之间，同时结合了定长和变长两种编码方法的特点。它的编码规则很简单：基本平面的字符占用 2 个字节，辅助平面的字符占用 4 个字节。也就是说，UTF-16 的编码长度要么是 2 个字节（U+0000 到 U+FFFF，也就是），要么是 4 个字节（U+010000 到U+10FFFF）。那么问题来了，当我们遇到两个字节时，到底是把这两个字节当作一个字符还是与后面的两个字节一起当作一个字符呢？
为了将两个字节的UTF-16编码与四个字节的UTF-16编码区分开来，Unicode编码的设计者将0xD800-0xDFFF保留下来，并称为代理区（Surrogate）：辅助平面的字符位共有 2^20 个，因此表示这些字符至少需要 20 个二进制位。UTF-16 将这 20 个二进制位分成两半，前 10 位映射在 U+D800 到 U+DBFF，称为高代理位（H），后 10 位映射在 U+DC00 到 U+DFFF，称为低代理位（L）。这意味着，一个辅助平面的字符，被拆成两个基本平面的字符表示。

如果U≥0x10000，我们先计算U’=U-0x10000，然后将U’写成二进制形式：yyyy yyyy yyxx xxxx xxxx，U的UTF-16编码（二进制）就是110110yyyyyyyyyy110111xxxxxxxxxx。
按照上述规则，Unicode编码0x10000-0x10FFFF的UTF-16编码有四个字节，前两个字节的高6位是110110，后两个字节的高6位是110111。可见，前两个字节的取值范围（二进制）是11011000 00000000到1101101111111111，即0xD800-0xDBFF。后两个字节取值范围（二进制）是11011100 00000000到11011111
11111111，即0xDC00-0xDFFF。
因此，当我们遇到两个字节，发现它的码点在 U+D800 到 U+DBFF 之间，就可以断定，紧跟在后面的两个字节的码点，应该在 U+DC00 到 U+DFFF 之间，这四个字节必须放在一起解读。
接下来，以汉字"𠮷"为例，说明 UTF-16 编码方式是如何工作的。
汉字"𠮷"的 Unicode 码点为 0x20BB7 ，该码点显然超出了基本平面的范围（0x0000 - 0xFFFF），因此需要使用四个字节表示。首先用 0x20BB7 - 0x10000 计算出超出的部分，然后将其用 20 个二进制位表示（不足前面补 0
），结果为 0001000010 1110110111 。接着，将前 10 位映射到 U+D800 到 U+DBFF 之间，后 10 位映射到
U+DC00 到 U+DFFF 即可。 U+D800 对应的二进制数为 1101100000000000 ，直接填充后面的 10 个二进制位即可，得到 1101100001000010 ，转成 16 进制数则为 0xD842 。同理可得，低位为 0xDFB7 。因此得出汉字"𠮷"的 UTF-16 编码为 0xD842 0xDFB7 。 和UTF-32一样，UTF-16也有UTF-16LE和UTF-16BE之分，例如：

注意：UTF-16常用于系统内部编码，我们平常说的 “Unicode编码是2个字节” 这句话，其实认的Unicode编码就是UTF-16，在常用基本字符上2个字节的编码方式已经够用导致的误解，其有特殊说明的情况下，常说的Unicode编码可以理解为UTF-16编码，而且是UTF-16BE编码

UTF-16比UTF-32节省了很多空间，但是任何一个字符都至少需要两个字节表示，对于美国和西欧国家而言，还是很浪费的。

UTF-8

UTF-8就是使用变长字节表示，每个字符使用的字节个数与其Unicode编号的大小有关，编号小的使用的字节就少，编号大的使用的字节就多，使用的字节个数从1到4个不等。
具体来说，各个Unicode编号范围对应的二进制格式如下表所示

图中的x表示可以用的二进制位，而每个字节开头的1或0是固定的。
小于128的（即0x00-0x7F之间的字符），编码与Ascii码一样，最高位为0。其他编号的第一个字节有特殊含义，最高位有几个连续的1表示一共用几个字节表示，而其他字节都以10开头。4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。
对于一个Unicode编号，具体怎么编码呢？首先将其看做整数，转化为二进制形式（去掉高位的0），然后将二进制位从右向左依次填入到对应的二进制格式x中，填完后，如果对应的二进制格式还有没填的x，则设为0。
例1：“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使用3字节模板：1110xxxx 10xxxxxx10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。 例2：Unicode编码0x20C30在0x010000-0x10FFFF之间，使用4字节模板：11110xxx 10xxxxxx 10xxxxxx
10xxxxxx。将0x20C30写成21位二进制数字（不足21位就在前面补0）：0 0010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。
注意：UTF-8和UTF-32/UTF-16不同的地方是UTF-8是兼容Ascii的，对大部分中文而言，一个中文字符需要用三个 字节表示。UTF-8的优势是网络上数据传输英文字符只需要1个字节，可以节省带宽资源。所以当前大部分的网络应用都 使用UTF-8编码，因为网络应用的代码编写全部都是使用的英文编写，占据空间小，网络传输速度快。

BOM

我们通常会看到这样的编码 UTF-8和UTF-8+BOM ，那么什么是BOM呢？
比如一个文本软件，在打开一个文件的时候，如何判断这个文件是使用的什么编码呢，该用什么编码进行解码呢？
那么就需要通过BOM（Byte Order Mark）来指明了。
Unicode标准建议用BOM（Byte Order Mark）来区分字节序，即在传输字节流前，先传输被作为BOM的字符“零
宽无中断空格”。这个字符的编码是FEFF，而反过来的FFFE（UTF-16）和FFFE0000（UTF-32）在Unicode中都是
未定义的码位，不应该出现在实际传输中。

注意：UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明文件是UTF-8的编码方式。根据BOM的规则，在一段字节 流开始时，如果接收到以下字节，则分别表明了该文本文件的编码。而如果不是以BOM开头，那程序则会以ANSI，也就 是系统默认编码读取。