UTF8，UNICODE，GB编码详解

 

字符编码、内码，顺带介绍汉字编码

　　字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码，为了处理汉字，程序员设计了用于简体中文的GB2312和用于繁体中文的big5。

　　GB2312(1980年)一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

　　GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030，对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。

　　从ASCII、GB2312、GBK到GB18030，这些编码方法是向下兼容的，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符。在这些编码中，英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼，GB2312、GBK到GB18030都属于双字节字符集 (DBCS)。

　　有的中文Windows的缺省内码还是GBK，可以通过GB18030升级包升级到GB18030。不过GB18030相对GBK增加的字符，普通人是很难用到的，通常我们还是用GBK指代中文Windows内码。

　　这里还有一些细节：

　　GB2312的原文还是区位码，从区位码到内码，需要在高字节和低字节上分别加上A0。

　　在DBCS中，GB内码的存储格式始终是big endian，即高位在前。

　　GB2312的两个字节的最高位都是1。但符合这个条件的码位只有128*128=16384个。所以GBK和GB18030的低字节最高位都可能不是1。不过这不影响DBCS字符流的解析：在读取DBCS字符流时，只要遇到高位为1的字节，就可以将下两个字节作为一个双字节编码，而不用管低字节的高位是什么。

2、Unicode、UCS和UTF

　　前面提到从ASCII、GB2312、GBK到GB18030的编码方法是向下兼容的。而Unicode只与ASCII兼容（更准确地说，是与ISO-8859-1兼容），与GB码不兼容。例如“汉”字的Unicode编码是6C49，而GB码是BABA。

　　Unicode也是一种字符编码方法，不过它是由国际组织设计，可以容纳全世界所有语言文字的编码方案。Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。UCS可以看作是"Unicode Character Set"的缩写。

　　根据维基百科全书(http://zh.wikipedia.org/wiki/)的记载：历史上存在两个试图独立设计Unicode的组织，即国际标准化组织（ISO）和一个软件制造商的协会（unicode.org）。ISO开发了ISO 10646项目，Unicode协会开发了Unicode项目。

　　在1991年前后，双方都认识到世界不需要两个不兼容的字符集。于是它们开始合并双方的工作成果，并为创立一个单一编码表而协同工作。从Unicode2.0开始，Unicode项目采用了与ISO 10646-1相同的字库和字码。

　　目前两个项目仍都存在，并独立地公布各自的标准。Unicode协会现在的最新版本是2005年的Unicode 4.1.0。ISO的最新标准是10646-3:2003。

　　UCS规定了怎么用多个字节表示各种文字。怎样传输这些编码，是由UTF(UCS Transformation Format)规范规定的，常见的UTF规范包括UTF-8、UTF-7、UTF-16。

　　IETF的RFC2781和RFC3629以RFC的一贯风格，清晰、明快又不失严谨地描述了UTF-16和UTF-8的编码方法。我总是记不得IETF是Internet Engineering Task Force的缩写。但IETF负责维护的RFC是Internet上一切规范的基础。

3、UCS-2、UCS-4、BMP

　　UCS有两种格式：UCS-2和UCS-4。顾名思义，UCS-2就是用两个字节编码，UCS-4就是用4个字节（实际上只用了31位，最高位必须为0）编码。下面让我们做一些简单的数学游戏：

　　UCS-2有2^16=65536个码位，UCS-4有2^31=2147483648个码位。

　　UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个plane。每个plane根据第3个字节分为256行 (rows)，每行包含256个cells。当然同一行的cells只是最后一个字节不同，其余都相同。

　　group 0的plane 0被称作Basic Multilingual Plane, 即BMP。或者说UCS-4中，高两个字节为0的码位被称作BMP。

　　将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。在UCS-2的两个字节前加上两个零字节，就得到了UCS-4的BMP。而目前的UCS-4规范中还没有任何字符被分配在BMP之外。

 

 

 

大端与小端

 Little endian和Big endian
　　UTF-8以字节为编码单元，没有字节序的问题。UTF-16(即unidode，Unicode码可以采用UCS-2格式直接存储)以两个字节为编码单元，在解释一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如收到一个“奎”的Unicode编码是594E，“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流“594E”，那么这是“奎”还是“乙”？

　　Unicode规范中推荐的标记字节顺序的方法是BOM。BOM不是“Bill Of Material”的BOM表，而是Byte Order Mark。BOM是一个有点小聪明的想法：

　　在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输字符"ZERO WIDTH NO-BREAK SPACE"。

　　这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。

　　UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF（读者可以用我们前面介绍的编码方法验证一下）。所以如果接收者收到以EF BB BF开头的字节流，就知道这是UTF-8编码了。

　　Windows就是使用BOM来标记文本文件的编码方式的。

Unicode码可以采用UCS-2格式直接存储。以汉字”严“为例，Unicode码是4E25，需要用两个字节存储，一个字节是4E，另一个字节是25。存储的时候，4E在前，25在后，就是Big endian方式；25在前，4E在后，就是Little endian方式。

这两个古怪的名称来自英国作家斯威夫特的《格列佛游记》。在该书中，小人国里爆发了内战，战争起因是人们争论，吃鸡蛋时究竟是从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开。为了这件事情，前后爆发了六次战争，一个皇帝送了命，另一个皇帝丢了王位。

因此，第一个字节在前，就是”大头方式“（Big endian），第二个字节在前就是”小头方式“（Little endian）。

那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？

Unicode规范中定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做”零宽度非换行空格“（ZERO WIDTH NO-BREAK SPACE），用FEFF表示。这正好是两个字节，而且FF比FE大1。

如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方式；如果头两个字节是FF FE，就表示该文件采用小头方式。

另外，用程序也很容易判断您的机器是大端还是小端，例：
{
    unsigned short test = 0x1122;
    if(*( (unsigned char*) &test ) == 0x11)
       cout<<“大端”；
    else
       cout<<“小端”;

}

 

UTF-8的编码规则

UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下：

UCS-2编码(16进制)	UTF-8 字节流(二进制)
0000 - 007F	0xxxxxxx
0080 - 07FF	110xxxxx 10xxxxxx
0800 - FFFF	1110xxxx 10xxxxxx 10xxxxxx

　　例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间，所以肯定要用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是：0110 110001 001001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

 

很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

下表总结了编码规则，字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

Unicode与UTF-8之间的转换

以汉字“严”为例，演示如何实现UTF-8编码。
unicode: 转 utf8：

已知“严”的unicode是4E25（1001110，00100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是“11100100 10111000 10100101”，转换成十六进制就是E4B8A5。

 

Utf8 转unicode：

       仍以“严”为例，“严”的UTF8编码为E4B8A5，转换成2进制为11100100 10111000 10100101，对应的格式为1110xxxx 10xxxxxx 10xxxxxx。这时，只要我们将为“X”的位取出来，其他丢掉，那就成了unicode码了，如11100100 10111000 10100101分别丢掉1110, 10, 10后，得到100, 111000l, 100101，重新排列下，为(1001 1100, 0110 0101)转换在十六进制是4E25

 

需要注意的是，上面所述的unicode: 转 utf8方法中的unicode采用的是大端编码方式。如果我们的机器为小端编码方式，那么只“严”的unicode码将是“254E”，这时我们只需简单地将它们换个位置，换成大端方式，即4E25方式，就可以按上述方法来转换了。

 

 

 

      

关于ascii, unicode（UCS-2，直接用两个字节存入字符的Unicode码）, utf8三种编码存储文件时所占空间大小分析

 

例一：

新建一文本文件，内容为全英文（也就是ascii），假设保存后大小为10K，文件名为“纯英文exp.txt”。这时再用ultraEdit打开，依次单击“文件”——“转换”——“ascii转unicode”，并另存为1.txt，这时，我们会发现这个1.txt的大小为20K。

我们再按上面的部骤来操作一次，不过这次是从“ascii转 utf8”,并另存为2.txt，这时，2.txt文件的大小仍为10K,也就是和以“ascii”存储时所占空间一样大。

 

如此引出个两个问题，

1：1.txt大小为什么为20k.

2：2.txt大小为什么为10k

 

解：

1.              1.txt大小之所以是20K，也就是是以ascii码存储的二倍大小，原因是因为它是以unicode码存储的。Unicode编码规定，所以字符都是以2个字节来存储的，而ascii码存英文时是以一个字节来存储的。如此一来，在存储纯英文时，用unicode存储的文件所占空间就自然是ascii码存储方式的二倍了

 

2．       2.txt以UTF8编码方式存储后大小为什么没有变呢？是不是ascii码和UTF8码是一种编码啊？答案是否定的。它们当然不会是同一种编码，要不也就没这个必要起两个名字来。至于它们存纯英文文件时大小一至，那是因为，UTF8码是可变长度的（前一至三个字节可变），它规定，当处理ascii码时，就以ascii码方式处理，也就是以一个字节来存储ascii码，这么一来，当然就和ascii码存储时所占空间一样大小了。

 

例二：新建一文本文件，内容为全中文（仍以ascii方式保存），假设保存后大小为10K，文件名为“纯英文exp.txt”。这时再用ultraEdit打开，依次单击“文件”——“转换”——“ascii转unicode”，并另存为1.txt，这时，我们会发现这个1.txt的大小仍为10K。

我们再按上面的部骤来操作一次，不过这次是从“ascii转 utf8”,并另存为2.txt，这时，2.txt文件的大小为15K,.

同样引出个两个问题，

1：1.txt大小为什么为10k.

2：2.txt大小为什么为15k

 

解：

1．  1.txt是以unicode方式存储的。上面说过，unicode表示所有字符都是2字节来表示的。而ascii码表示中文时也是用两个字节来表示的，所以，用这两种编码方式来存储中文文件时，所占空间大小是一样的。

 

2.              txt采用的UTF8方式来存储。UTF8存储中文时，是以三个字节来存储一个中文的，比unicode多用了一个字节，所占存储空间自然也就多了1/3。所以2.txt的大小为15K，15K刚好比10K多了1/3。

 

总结，ascii码存储字符时，英文字符占一个字节，中文字符占两个字节。 Unciode存储字符时，所有字符都占用两字节。Utf8存储字符时，英文字符占一个字节，中文占三个字节，泛欧语系、斯拉夫语字母占2 Bytes