了解Unicode、UTF-8、UTF-16、UTF-32

一、Unicode
（1）定义：(统一码、万国码、单一码)是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发，1994年正式公布。Unicode通常用两个字节表示一个字符，原有的英文编码从单字节变成双字节，只需要把高字节全部填为0就可以。
（2）作用：能够使计算机实现跨语言、跨平台的文本转换及处理。

二、UTF-8
UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下:
Unicode编码(十六进制) UTF-8 字节流(二进制)

000000-00007F 0xxxxxxx
000080-0007FF 110xxxxx 10xxxxxx
000800-00FFFF 1110xxxx 10xxxxxx 10xxxxxx
010000-10FFFF 11110xxx10xxxxxx10xxxxxx10xxxxxx| |

UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。

三、UTF-16
UTF-16编码以16位无符号整数为单位。我们把Unicode编码记作U。编码规则如下:
如果U<0x10000，U的UTF-16编码就是U对应的16位无符号整数(为书写简便，下文将16位无符号整数记作WORD)。
如果U≥0x10000，我们先计算U’=U-0x10000，然后将U’写成二进制形式:yyyy yyyy yyxx xxxx xxxx，U的UTF-16编码(二进制)就是:110110yyyyyyyyyy 110111xxxxxxxxxx。为什么U’可以被写成20个二进制位?Unicode的最大码位是0x10FFFF，减去0x10000后，U’的最大值是0xFFFFF，所以肯定可以用20个二进制位表示。例如:Unicode编码0x20C30，减去0x10000后，得到0x10C30，写成二进制是:0001 0000 1100 0011 0000。用前10位依次替代模板中的y，用后10位依次替代模板中的x，就得到:1101100001000011 1101110000110000，即0xD843 0xDC30。
按照上述规则，Unicode编码0x10000-0x10FFFF的UTF-16编码有两个WORD，第一个WORD的高6位是110110，第二个WORD的高6位是110111。可见，第一个WORD的取值范围(二进制)是11011000 00000000到11011011 11111111，即0xD800-0xDBFF。第二个WORD的取值范围(二进制)是11011100 00000000到11011111 11111111，即0xDC00-0xDFFF。

四、UTF-32
UTF-32编码以32位无符号整数为单位。Unicode的UTF-32编码就是其对应的32位无符号整数。
字节序有两种，分别是"大端"(Big Endian, BE)和"小端"(Little Endian, LE)。
根据字节序的不同，UTF-16可被实现为UTF-16LE或UTF-16BE，UTF-32可被实现为UTF-32LE或UTF-32BE。
Unicode标准建议用BOM(Byte Order Mark)来区分字节序，即在传输字节流前，先传输被作为BOM的字符"零宽无中断空格"。这个字符的编码是FEFF，而反过来的FFFE(UTF-16)和FFFE0000(UTF-32)在Unicode中都是未定义的码位，不应该出现在实际传输中。

UTF-8、UTF-16、UTF-32分别以char、char16_t、char32_t作为编码单位。

五、四者间的关系
UTF-8、UTF-16、UTF-32 都是 Unicode 的一种实现。