UTF-8、UTF-16、UTF-32及其各自的实现方式

背景

上述三种编码都是对Unicode字符集的实现，前两者使用变长方式，最后一种使用定长的方式。三种中，最早出现的是UTF-16，是为了弥补UCS-2的缺陷，因为UCS-2使用定长16bits的编码方式，当时IEEE提出了UCS-4但惨遭拒绝，有点类似当今的UTF-32，原因是空间浪费大。所以此时UTF-16登场了。UTF的全称是：Unicode (or Universal Coded Character Set) Transformation Format 。

UTF-16

编码

UTF-16采用变长编码，分为2bytes和4bytes两种情况，2bytes只能表示BMP（Basic Multilingual Plane， The first plane in Unicode）中的字符, 其他Plane的字符采用双code unit的方式映射，维基百科上称作代理对(surrogate pair)。具体编码过程如下：

1. 对于一个特定的字符，首先检查其Unicode code point的范围，如果十六进制值小于于0xFFFF，则直接编码，否则执行第二步。
2. 对于其他字符，其code point肯定在0x010000~0x10FFFF之间。将其十六进制 U 减去0x010000，得到的结果 U^’ 肯定在0x000000~0x0FFFFF之间，共20位。接下来执行第三步。
   3 将 U^’ 分成两部分，high= U^’ / 0x0400，low= U^’ % 0x0400。
3. high+=0xD800, low+=0XDC00
4. 所得到的high (leading surrogate)和low(trailing surrogate)将是该字符的代理对，其取值范围分别是0xD800~ 0xDBFF、0xDC00 ~ 0xDFFF（包括边界）。这两个范围内的值在BMP中是永远不会映射到字符的。
   
   使用UTF-16时，其存储在计算机中的内容就是high和low,具体形式则受到BOM(byte order mask，字节顺序, 分为大端法和小端法)的影响。

解码

解码之前，首先要知道编码是属于BMP那一层的字符还是其他层的字符，如果是BMP的就应该只有两个字节，且其取值范围为0x0000 ~ 0xD7FF、0xE000 ~ 0xFFFF。否则就应该是四字节的编码，如果存在于0xD800~ 0xDBFF，则属于高代理，如果存在于0xDC00~0XDFFF, 则属于低代理。
对高代理执行减去0xD800的操作并乘以0x0400，再加上对低代理执行减去0xDC00的操作的值，结果就是该字符的code point， 其范围在 0x010000~0x10FFFF之间。

UTF-8

相比UTF-16，UTF-8的编码解码操作就相对较简单。UTF-8是不定长编码，其长度可能是1~4字节不等。

对于第一字节，如果以0开头，则代表此字节只占一个字节；如果以110开头代表占两个字节；如果以1110开头，代表占三个字节；如果以11110开头，占四个字节。对于大于1个字节的情况，后续字节分别以10开头。

对于占四个字节的情况，共有5+2+2+2共11个控制位，剩下21位数据位，刚好能够表示Unicode中的最大code point（0x 10FFFF）。

解码的时候只需要根据首字节的控制字符，就可以知道该字符所占的字节数，然后去除控制位，就可得code point。

UTF-32

UTF-32和之前IEEE推荐得UCS-4一样，固定使用4个字节来表示，缺点很明显，所以不常使用。

参考链接：

https://en.wikipedia.org/wiki/Unicode
https://en.wikipedia.org/wiki/UTF-8
https://en.wikipedia.org/wiki/UTF-16
https://www.ibm.com/developerworks/cn/java/unicode-programming-language/index.html
https://www.ibm.com/developerworks/cn/java/j-unicode/