[转帖] 谈谈Unicode编码，简要解释UCS、UTF、BMP、BOM等名词

(这条文章已经被阅读了 1376 次) 时间：2005/05/21 07:58pm 　来源：victor


这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念，增进知识，类似于打RPG游戏的升级。整理这篇文章的动机是两个问题：

问题一：
使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows是怎样识别编码方式的呢？

我很早前就发现Unicode、Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节，分别是FF、FE（Unicode）,FE、FF（Unicode big endian）,EF、BB、BF（UTF-8）。但这些标记是基于什么标准呢？

问题二：
最近在网上看到一个ConvertUTF.c，实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式，我原来就了解。但这个程序让我有些糊涂，想不起来UTF-16和UCS2有什么关系。
查了查相关资料，总算将这些问题弄清楚了，顺带也了解了一些Unicode的细节。写成一篇文章，送给有过类似疑问的朋友。本文在写作时尽量做到通俗易懂，但要求读者知道什么是字节，什么是十六进制。

0、big endian和little endian
big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时，究竟是将6C写在前面，还是将49写在前面？如果将6C写在前面，就是big endian。还是将49写在前面，就是little endian。

“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开，由此曾发生过六次叛乱，其中一个皇帝送了命，另一个丢了王位。

我们一般将endian翻译成“字节序”，将big endian和little endian称作“大尾”和“小尾”。

1、字符编码、内码，顺带介绍汉字编码
字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码，为了处理汉字，程序员设计了用于简体中文的GB2312和用于繁体中文的big5。

GB2312(1980年)一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030，对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。

从ASCII、GB2312、GBK到GB18030，这些编码方法是向下兼容的，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符。在这些编码中，英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼，GB2312、GBK到GB18030都属于双字节字符集 (DBCS)。

有的中文Windows的缺省内码还是GBK，可以通过GB18030升级包升级到GB18030。不过GB18030相对GBK增加的字符，普通人是很难用到的，通常我们还是用GBK指代中文Windows内码。

这里还有一些细节：

GB2312的原文还是区位码，从区位码到内码，需要在高字节和低字节上分别加上A0。

在DBCS中，GB内码的存储格式始终是big endian，即高位在前。

GB2312的两个字节的最高位都是1。但符合这个条件的码位只有128*128=16384个。所以GBK和GB18030的低字节最高位都可能不是1。不过这不影响DBCS字符流的解析：在读取DBCS字符流时，只要遇到高位为1的字节，就可以将下两个字节作为一个双字节编码，而不用管低字节的高位是什么。

2、Unicode、UCS和UTF
前面提到从ASCII、GB2312、GBK到GB18030的编码方法是向下兼容的。而Unicode只与ASCII兼容（更准确地说，是与ISO-8859-1兼容），与GB码不兼容。例如“汉”字的Unicode编码是6C49，而GB码是BABA。

Unicode也是一种字符编码方法，不过它是由国际组织设计，可以容纳全世界所有语言文字的编码方案。Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。UCS可以看作是"Unicode Character Set"的缩写。

根据维基百科全书(http://zh.wikipedia.org/wiki/)的记载：历史上存在两个试图独立设计Unicode的组织，即国际标准化组织（ISO）和一个软件制造商的协会（unicode.org）。ISO开发了ISO 10646项目，Unicode协会开发了Unicode项目。

在1991年前后，双方都认识到世界不需要两个不兼容的字符集。于是它们开始合并双方的工作成果，并为创立一个单一编码表而协同工作。从Unicode2.0开始，Unicode项目采用了与ISO 10646-1相同的字库和字码。

目前两个项目仍都存在，并独立地公布各自的标准。Unicode协会现在的最新版本是2005年的Unicode 4.1.0。ISO的最新标准是10646-3:2003。

UCS规定了怎么用多个字节表示各种文字。怎样传输这些编码，是由UTF(UCS Transformation format)规范规定的，常见的UTF规范包括UTF-8、UTF-7、UTF-16。

IETF的RFC2781和RFC3629以RFC的一贯风格，清晰、明快又不失严谨地描述了UTF-16和UTF-8的编码方法。我总是记不得IETF是Internet Engineering Task Force的缩写。但IETF负责维护的RFC是Internet上一切规范的基础。

3、UCS-2、UCS-4、BMP

UCS有两种格式：UCS-2和UCS-4。顾名思义，UCS-2就是用两个字节编码，UCS-4就是用4个字节（实际上只用了31位，最高位必须为0）编码。下面让我们做一些简单的数学游戏：

UCS-2有2^16=65536个码位，UCS-4有2^31=2147483648个码位。

UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个plane。每个plane根据第3个字节分为256行 (rows)，每行包含256个cells。当然同一行的cells只是最后一个字节不同，其余都相同。

group 0的plane 0被称作Basic Multilingual Plane, 即BMP。或者说UCS-4中，高两个字节为0的码位被称作BMP。

将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。在UCS-2的两个字节前加上两个零字节，就得到了UCS-4的BMP。而目前的UCS-4规范中还没有任何字符被分配在BMP之外。

4、UTF编码

UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下：

UCS-2编码(16进制) UTF-8 字节流(二进制)
0000 - 007F 0xxxxxxx
0080 - 07FF 110xxxxx 10xxxxxx
0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx

例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间，所以肯定要用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是：0110 110001 001001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

读者可以用记事本测试一下我们的编码是否正确。

UTF-16以16位为单元对UCS进行编码。对于小于0x10000的UCS码，UTF-16编码就等于UCS码对应的16位无符号整数。对于不小于0x10000的UCS码，定义了一个算法。不过由于实际使用的UCS2，或者UCS4的BMP必然小于0x10000，所以就目前而言，可以认为UTF-16和UCS-2基本相同。但UCS-2只是一个编码方案，UTF-16却要用于实际的传输，所以就不得不考虑字节序的问题。

5、UTF的字节序和BOM
UTF-8以字节为编码单元，没有字节序的问题。UTF-16以两个字节为编码单元，在解释一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如收到一个“奎”的Unicode编码是594E，“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流“594E”，那么这是“奎”还是“乙”？

Unicode规范中推荐的标记字节顺序的方法是BOM。BOM不是“Bill Of Material”的BOM表，而是Byte Order Mark。BOM是一个有点小聪明的想法：

在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输字符"ZERO WIDTH NO-BREAK SPACE"。

这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。

UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF（读者可以用我们前面介绍的编码方法验证一下）。所以如果接收者收到以EF BB BF开头的字节流，就知道这是UTF-8编码了。

Windows就是使用BOM来标记文本文件的编码方式的。

6、进一步的参考资料
本文主要参考的资料是 "Short overview of ISO-IEC 10646 and Unicode" (http://www.nada.kth.se/i18n/ucs/unicode-iso10646-oview.html)。

我还找了两篇看上去不错的资料，不过因为我开始的疑问都找到了答案，所以就没有看：

"Understanding Unicode A general introduction to the Unicode Standard" (http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter04a)
"Character set encoding basics Understanding character set encodings and legacy encodings" (http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter03)
我写过UTF-8、UCS-2、GBK相互转换的软件包，包括使用Windows API和不使用Windows API的版本。以后有时间的话，我会整理一下放到我的个人主页上(http://fmddlmyy.home4u.china.com)。

我是想清楚所有问题后才开始写这篇文章的，原以为一会儿就能写好。没想到考虑措辞和查证细节花费了很长时间，竟然从下午1:30写到9:00。希望有读者能从中受益。

http://dev.csdn.net/develop/article/69/69883.shtm

［ 打包下载］　　　［ 引用该文］　　　［ 发表评论］　　　［ 转寄该文］　　　［ 关闭窗口］

此文章相关评论:

该文章有4个相关评论如下：(点这儿论坛方式查看)

victor	发表于： 2005/05/23 05:58am
	RE一下。
顶部

taozi	发表于： 2005/05/24 05:19am
	编码问题有时候确实比较麻烦，我最近也看了一些编码方面的资料，下面的这篇也介绍给比较好，主要着重于编码转换，大家可以看看。 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ GB码与BIG5是中国人常用的两种编码集。GB码为大陆使用，BIG5为香港与台湾使用。每个编码都由2个字符构成，高字节在前，低字节在后。下面我将使用Python实现的编码转换的程序向大家作一个介绍。关于编码的一些知识大家可以去网上查找，本人不再赘述。 GB码是大陆使用的编码集。以前使用的为GB-2312编程，它只有常用字，字数有限。后国家制定了新的GBK编码，汉字已经达到了2万多。GBK完全兼容原GB-2312编码，也就是说一个GB2312的编码在GBK上是一模一样的。这里所介绍的转换是以GBK为基础的，因此适用性很广。GBK编码中不仅包括了原GB-2312编码，同时也包括了许多简码的繁体码，同时还有许多的符号与不常用汉字。GBK编码的范围是：高字节从0x81到0xFE，低字节从0x40到0xFE，同时不包括0x7F。这样如果我们将其排成一个矩形，看上去就少了xx7F一根线。 编码的定位 那么如何定位一个GBK码呢？当我们拿到一个编码时，如何判断是不是一个GBK码，如果是GBK码如何定位它的位置呢？ 判断一个GBK码应该比较简单，我们只要根据它的有效范围进行判定即可。如: if 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0x7E<=ch2<=0xFE): #is gb char 这里ch1和ch2分别是一个字符的高字节和低字节。 如何定位（为什么要定位我们在后面讲）？首先介绍一下码表。码表是所有编码放在一起形成的，你可以将其放在文件中（这里讲述的是将编码放在文件中）。我们在存放编码时是将有实际意义的编码放在了一起（因为有一些组合是不存在的），而且是按字节大小的顺序放的。根据GBK的编码范围，我们可以设想一个二维坐标，纵坐标是高字节，横坐标是低字节，每一个交叉点上是一个汉字，占两个字节。这样一行上的汉字个数应该为0xFE-0x40+1-1=190（加1是因为要把0x40也算进去。减1是因为要把7F去掉）。定位时，我们先用高字节减去0x81，得到纵坐标偏移量。用低字节减去0x40得到横坐标偏移量。用纵坐标偏移量乘以每个汉字个数，加上横坐标偏移量就得到汉字的偏移量。再乘以2得到字节的偏移量。那么定位算法为: index=((ch1-0x81)*190+(ch2-0x40)-(ch2/128))*2 上面的算法中有-(ch2/128)。这是因为GBK中没有7F码，因此当ch2小于7F时，ch2/128=0，则表示7F没有计算在内。而当ch2大于7F时，ch2/128=1，则表示多算了7F一值，因此要去掉。由于一个汉字有两个字节，故要乘以2。这样我们就得到一个GBK汉字在码表中的字节位置了。 BIG5是香港和台湾地区使用的编码集。它的范围为：高字节从0xA0到0xFE，低字节从0x40到0x7E，和0xA1到0xFE两部分。判断一个汉字是否是BIG5编码，可以如上对字符的编码范围判断即可。如何定位呢？那么也想象所有编码排列为一个二维坐标，纵坐标是高字节，横坐标是低字节。这样一行上的汉字个数：(0x7E-0x40+1)+(0xFE-0xA1+1)＝157。那么定位算法分两块，为: if 0x40<=ch2<=0x7E: #is big5 char index=((ch1-0xA1)*157+(ch2-0x40))*2 elif 0xA1<=ch2<=0xFE: #is big5 char index=((ch1-0xA1)*157+(ch2-0xA1+63))*2 对于第二块，计算偏移量时因为有两块数值，所以在计算后面一段值时，不要忘了前面还有一段值。0x7E-0x40+1=63。 编码转换 上面，我们已经可以得到GBK汉字和BIG5的字节位置。那么就可以开始进行转换了。对于转换我原以为有一个特别的算法，能够按照两种编码的不同，简单地通过计算就可以得出结果来，其实是不存在这种算法的。真正的做法是通过建立转换码表文件实现的。即对于GBK码表，将原位置上的GBK汉字改成相应的BIG5汉字。对于BIG5码表，将原位置上的BIG5汉字改成相应的GBK汉字。这样，由于原来汉字的位置没有变，但编码已经变成了想要转换的编码。通过计算出原汉字的位置，将转换码表中对应汉字位置的字符取出来，这样就完成了转换（这就是为什么要进行编码定位的原因）。
顶部

taozi	发表于： 2005/05/24 05:22am
	GBK 汉字内码扩展规范 　　GBK 是又一个汉字编码标准，全称《汉字内码扩展规范》(GBK)，英文名称 Chinese Internal Code Specification ，中华人民共和国全国信息技术标准化技术委员会 1995 年 12 月 1 日制订，国家技术监督局标准化司、电子工业部科技与质量监督司 1995 年 12 月 15 日联合以技监标函 [1995] 229 号文件的形式，将它确定为技术规范指导性文件，发布和实施。这一版的 GBK 规范为 1.0 版。GB 即“国标”，K 是“扩展”的汉语拼音第一个字母。 　　GBK 向下与 GB 2312 编码兼容，向上支持 ISO 10646.1 国际标准，是前者向后者过渡过程中的一个承上启下的标准。 　　ISO 10646 是国际标准化组织 ISO 公布的一个编码标准，即 Universal Multilpe-Octet Coded Character Set（简称 UCS），大陆译为《通用多八位编码字符集》，台湾译为《广用多八位元编码字元集》，它与 Unicode 组织的 Unicode 编码完全兼容。ISO 10646.1 是该标准的第一部分《体系结构与基本多文种平面》。我国 1993 年以 GB 13000.1 国家标准的形式予以认可（即 GB 13000.1 等同于 ISO 10646.1）。 　　ISO 10646 是一个包括世界上各种语言的书面形式以及附加符号的编码体系。其中的汉字部分称为“CJK 统一汉字”（C 指中国，J 指日本，K 指朝鲜）。而其中的中国部分，包括了源自中国大陆的 GB 2312、GB 12345、《现代汉语通用字表》等法定标准的汉字和符号，以及源自台湾的 CNS 11643 标准中第 1、2 字面（基本等同于 BIG-5 编码）、第 14 字面的汉字和符号。 　　一、字汇 　　GBK 规范收录了 ISO 10646.1 中的全部 CJK 汉字和符号，并有所补充。具体包括： 　　1. GB 2312 中的全部汉字、非汉字符号。 　　2. GB 13000.1 中的其他 CJK 汉字。以上合计 20902 个 GB 化汉字。 　　3. 《简化字总表》中未收入 GB 13000.1 的 52 个汉字。 　　4. 《康熙字典》及《辞海》中未收入 GB 13000.1 的 28 个部首及重要构件。 　　5. 13 个汉字结构符。 　　6. BIG-5 中未被 GB 2312 收入、但存在于 GB 13000.1 中的 139 个图形符号。 　　7. GB 12345 增补的 6 个拼音符号。 　　8. 汉字“○”。 　　9. GB 12345 增补的 19 个竖排标点符号（GB 12345 较 GB 2312 增补竖排标点符号 29 个，其中 10 个未被 GB 13000.1 收入，故 GBK 亦不收）。 　　10. 从 GB 13000.1 的 CJK 兼容区挑选出的 21 个汉字。 　　11. GB 13000.1 收入的 31 个 IBM OS/2 专用符号。 　　二、码位分配及顺序 　　GBK 亦采用双字节表示，总体编码范围为 8140-FEFE，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 xx7F 一条线。总计 23940 个码位，共收入 21886 个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号 883 个。 　　全部编码分为三大部分： 　　1. 汉字区。包括： 　　a. GB 2312 汉字区。即 GBK/2: B0A1-F7FE。收录 GB 2312 汉字 6763 个，按原顺序排列。 　　b. GB 13000.1 扩充汉字区。包括： 　　(1) GBK/3: 8140-A0FE。收录 GB 13000.1 中的 CJK 汉字 6080 个。 　　(2) GBK/4: AA40-FEA0。收录 CJK 汉字和增补的汉字 8160 个。CJK 汉字在前，按 UCS 代码大小排列；增补的汉字（包括部首和构件）在后，按《康熙字典》的页码／字位排列。 　　2. 图形符号区。包括： 　　a. GB 2312 非汉字符号区。即 GBK/1: A1A1-A9FE。其中除 GB 2312 的符号外，还有 10 个小写罗马数字和 GB 12345 增补的符号。计符号 717 个。 　　b. GB 13000.1 扩充非汉字区。即 GBK/5: A840-A9A0。BIG-5 非汉字符号、结构符和“○”排列在此区。计符号 166 个。 　　3. 用户自定义区：分为(1)(2)(3)三个小区。 　　(1) AAA1-AFFE，码位 564 个。 　　(2) F8A1-FEFE，码位 658 个。 　　(3) A140-A7A0，码位 672 个。 　　第(3)区尽管对用户开放，但限制使用，因为不排除未来在此区域增补新字符的可能性。 　　三、字形 　　GBK 对字形作了如下的规定： 　　1. 原则上与 GB 13000.1 G列（即源自中国大陆法定标准的汉字）下的字形／笔形保持一致。 　　2. 在 CJK 汉字认同规则的总框架内，对所有的 GBK 编码汉字实施“无重码正形”（“GB 化”）；即在不造成重码的前提下，尽量采用中国新字形。 　　3. 对于超出 CJK 汉字认同规则的、或认同规则尚未明确规定的汉字，在 GBK 码位上暂安放旧字形。这样，在许多情况下 GBK 收入了同一汉字的新旧两种字形。 　　4. 非汉字符号的字形，凡 GB 2312 已经包括的，与 GB 2312 保持一致；超出 GB 2312 的部分，与 GB 13000.1 保持一致。 　　5. 带声调的拼音字母取半角形式。
顶部

taozi

发表于： 2005/05/24 05:23am

[这个贴子最后由taozi在 2005/05/23 09:25pm 第 1 次编辑] GBK 代码表（按代码顺序排列） 81-87 88-8F 90-97 98-9F A0-A7 A8-AF B0-B7 B8-BF C0-C7 C8-CF D0-D7 D8-DF E0-E7 E8-EF F0-F7 F8-FE -------------------------------------------------------------------------------- GBK 代码表（按分类顺序排列） GBK/1: GB2312非汉字符号 A1-A9 GBK/2: GB2312 汉字 B0-B7 B8-BF C0-C7 C8-CF D0-D7                   D8-DF E0-E7 E8-EF F0-F7 GBK/3: 扩充汉字    81-83 84-87 88-8B 8C-8F 90-93                   94-97 98-9B 9C-A0 GBK/4: 扩充汉字    AA-AF B0-B7 B8-BF C0-C7 C8-CF                   D0-D7 D8-DF E0-E7 E8-EF F0-F7 F8-FE GBK/5: 扩充非汉字  A8-A9 用户自定义区       (1) AA-AF (2) F8-FE (3) A1-A7