精确解释Unicode

我决心了解一下编码知识——主要是Unicode——及相关概念,搜索阅读了网上的很多文章,明白了一些,另一些却很模糊,而且有一些不同文章的描述是冲突的!我因此查阅了很多网上的资料,主要有中英文维基百科和Unicode.org,终于明白了其中的奥妙。

独乐乐不如众乐乐,我因此撰此文帮助大家最大程度地厘清UnicodeUCSUTF-8UTF-16UCS-2UCS-4之间的关系。对于网上随手可得的资料,如ASCII码表、UTF-16算法的程序代码,则不是本文重点。

网上其他文章概念模糊、说法冲突,我觉得一是上述词语本身就具有多重含义,很难把握;二可能是作者本身理解不到位,含糊了过去;三可能是那些文章缺少精确的表达方式,很容易使人误解。于是,我选择了用数学及程序代码相结合的方式,试图给予最清晰的定义。

我水平亦有限,哪里理解不到位或表达不清楚,希望读者不吝赐教。

这里格式我不修改了,嫌格式不漂亮的朋友可去https://docs.google.com/viewer?a=v&pid=explorer&chrome=true&srcid=0B92-FAjNvVzGNGQxNGI2MzctZGJlMC00YzhmLTg3MWItMGI0MWVhOTM4M2I4&hl=zh_CN 获取PDF版。

基本概念

字符是文字与符号的总称,包括文字、图形符号、数学符号等。字符集是字符的集合。

(字符)编码当名词用,是一个从一指定字符集一指定集合的函数,如果用程序代码1来表示,可以写作Encoding

编码当动词用,是建立一个从一指定字符集一指定集合的函数。例如将汉字对应到整数(Encoding),将英文字母对应到可在电线中传输的电脉冲(Encoding电脉冲模式>)。

如果字符编码特化为Encoding,即字符转换为整数,则成为编码字符集(函数是特殊的集合)。很多文章上说的字符集其实是编码字符集。

码点是编码字符集的上域2中的一个元素。

为了本文的叙述方便,额外定义几条表达方式。

编码字符集有以下属性:

  • 字库3ASCII的字库是英文字母+数字+其他一些符号 1

  • 编码长度4ASCII的编码长度是7个二进制位。编码长度≤表示长度 2

  • 表示长度5ASCII的表示长度是8个二进制位(最高位为0 3

编码字符集ASCII中字符A的编码数字是656 4

编码字符集ASCII中字符A的二进制流是01000001。相应地,十六进制流是41,十进制流是65。与编码数字不同,N进制流要开头补0,以达到表示长度。 5

常见的编码字符集

GB2312是简体字集,全称为GB2312(80)字集,共包括国标简体汉字6763个。

BIG5大五码是台湾繁体字集,共包括国标繁体汉字13053个。

GBK是简繁字集,包括了GB字集、BIG5字集和一些符号,共包括21003个字符。

GB18030是国家制定的一个强制性大字集标准,全称为GB18030-2000,它的推出使汉字集有了一个“大一统”的标准。

ASCII

我们知道,在计算机内部,所有的信息最终都表示为一个二进制的字符串。每一个二进制位有01两种状态,因此八个二进制位就可以组合出 256种状态,这被称为一个字节。也就是说,一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从 000000011111111

上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为ASCII码,一直沿用至今。

ASCII的字库包括128个字符,比如空格(SPACE)的编码数字是32,二进制流是00100000。这128个字符(包括32个不能打印出来的控制符号),只占用了一个字节的后面7位,最前面的1位统一规定为0

在电线里传输被ASCII编码的二进制流时,为了检验错误,会修改最高位,用来做奇偶校验。这利用了ASCII本身的性质(最高位都是0)。

UCS

ISO10646标准所定义的通用字符集(Universal Character Set),编码长度可达32位。

Unicode

Unicode是一种正在发展的编码字符集,由统一码联盟制定,希望将全世界常用文字都函括进去。Unicode兼容ASCII7ASCII中有的字符Unicode中都有,并且对应相同的编码数字。

Unicode编码长度可达到32位,即4字节。第一字节称为组,第二字节称为面,第三字节称为行,第四字节称为点。第0组第0面里的字符可以只用2个字节表示,且涵盖了绝大部分的常用字,所以备受青睐。为了方便称呼,Unicode给它了一个名称——基本多文种平面BMP)。基本多文种平面值域和上域都是0FFFF,共计65535个码点。8 9基本多文种平面是Unicode的子集。

虽然Unicode的表示长度是32位,但因为通常表示的是常用字,且常用字在BMP的字库里,所以表示长度往往缩减为16位。

UnicodeUCS的关系

ISO统一码联盟是两个不同的组织,最初制定了不同的标准;但后来两个组织制定的编码字符集相互兼容。10现在往往只说UnicodeUCS这个名词不常见。

转换格式

以上说的都只是编码字符集——字符到整数的函数。虽然表示长度往往是8的倍数,却没有规定二进制流应该如何放入到几个字节里去。

比如,Unicode中字符“严”的十六进制流是4E25(缩减了的表示长度),是直接保存为两个字节4E25呢,还是经过一些运算再保存呢?

读者可能觉得这个问题很无聊。我们已经知道,英文字母只用一个字节表示就够了,如果每个符号用两个或四个字节表示,那么每个英文字母前都必然有二到四个字节是0,这对于存储来说是极大的浪费,文本文件的大小会因此大出二三倍,这是无法接受的。

UTF正是为了解决这个问题而诞生的。UTF全称为Unicode Translation FormatUnicode转换格式)。

转换格式是一个从二进制流集合字节数组的集合的函数,可以写作Encoding。又二进制流可以计算为数字,转换格式可以写作Encoding

UTF-8

UTF-8是一种变长转换格式。它使用1~4个字节表示一个符号,根据不同的二进制流而改变字节长度。

UTF-8的规则很简单,只有二条:

  • 对于单字节的符号,字节的第一位设为0,后面7位为这个符号的Unicode码。因此对于同一个英语字母在UTF-8下和在ASCII码下的像11是相同的。

  • 对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的二进制位用来从后往前放置这个符号的二进制流。

下表总结了编码规则,字母x表示用来放置二进制码的位置。

Unicode码点

像(二进制)

0000 0000 - 0000 007F

0xxxxxxx

0000 0080 - 0000 07FF

110xxxxx 10xxxxxx

0000 0800 - 0000 FFFF

1110xxxx 10xxxxxx 10xxxxxx

0001 0000 - 0010 FFFF

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

UTF-16

UTF-16的编码方法12是:

  • 如果二进制流b小于0x10000,也就是十进制的065535之内,则直接使用两字节表示。

  • 如果二进制流b大于等于0x10000,将b-0x10000的结果中的前 10 位作为高位和0xD800进行逻辑或操作,将后10 bit作为低位和0xDC00逻辑或操作,这样组成的4个字节就构成了b的编码。

举个例子。假设要算(U+2A6A5,四个繁体字龙)13UTF-16下的像,因为它超过 U+FFFF,所以 2A6A5-10000=0x1A6A5=

100001 1010 01 | 0xD800 = 0xD896

1010 1010 0101 | 0xDC00 = 0xDEA5

所以U+ 2A6A5 UTF-16中的像是D8 96 DE A5

UCS-2

UCS-2ISO制定的,用来转换UCS的。但既然UnicodeUCS相互兼容,便也可以用来转换Unicode

UCS-2基本多文种平面的值域两个成员的字节数组的集合的函数,即每个BMP码点都通过前面补0的方式固定地用两个字节表示。记得因为代理区的存在,一个码点并不代表一个字符。

UCS-2UTF-16的子集,因为UTF-16额外规定了BMP以外的字节表示。

UCS-4

UCS-4ISO制定的,用来转换UCS的。但既然UnicodeUCS相互兼容,便也可以用来转换Unicode

UCS-4Unicode中的头128组的值域四个成员的字节数组的集合的函数,即每个码点都通过前面补0的方式固定地用四个字节表示。四个字节的范围是07FFFFFFF,即31个二进制位。

UTF-32

但是,ISO/IEC 10646已经宣布,今后所有的字符都将分配在10FFFF (即第0组头17个平面)以内,所以UCS-47FFFFFFF上限没有意义。14所以制定了UTF-32

UTF-32Unicode中第0组头17个平面的值域四个成员的字节数组的集合的函数,即每个Unicode码点都通过前面补0的方式固定地用四个字节表示。

可见,UTF-32UCS-4的子集,UCS-4包含UTF-3215UCS-4已经没有使用的意义。

小结

转换格式

定义域

值域

UTF-8

0-10 FFFF

0组头17平面的值域

1-4字节

UTF-16

0-10FFFF

0组头17平面的值域

24字节

UCS-2

0-FFFF

基本多文种平面的值域

2字节

UCS-4

0-7FFFFFFF

128组的值域

4字节

UTF-32

0-10 FFFF

0组头17平面的值域

4字节

* 缩进代表包含关系。

现在若有软件声称自己支持UCS-2,那其实是暗指它不能支持在UTF-16中超过2字节的符号。16

字节存储的顺序

一个字符,通过Unicode,得到了二进制流;二进制流通过转换格式,得到了几个字节。那么这几个字节是由低位到高位(即低位在前)写入硬盘呢,还是由高位到低位(即高位在前)写入硬盘呢?这就是字节存储的顺序问题,即字节序问题。

为什么不统一地都由低位到高位或由高位到低位呢?因为设备执行不同的任务时,这两种方式的性能有差别。为了最大地提升性能,设备的硬件实现根据其最常做的任务决定了字节序。

Unicode规范中用字节序标记字符BOM)来标识字节序,它的编码是FEFF。这样如果接收者收到FEFF,就表明这个字节流是高位在前的;如果收到FFFE,就表明这个字节流是低位在前的。

这里相当于有一个从byte[]BOMbyte[]的字节序函数(b(byte[],bom):byte[]),给定几个字节和字节序,该函数就能算出这几个字节存往硬盘的顺序。

至此,计算机屏幕上显示的字符保存到硬盘上的过程已经清晰了:

对该字符c应用编码字符集,结果为n

Encoding(c) → n

对整数n应用转换格式,结果为。

Encoding(n) → bytes

对应用字节序函数,结果为硬盘上的字节数组。

b(bytes,bom) → bytesInDisk

UTF-8有严格的字节顺序,不需要BOM。但如果在字节流前面加上BOMUTF-8下的像EF BB BF,接收者一收到就知道这是UTF-8编码。所以用UTF-8格式存储,仍然会往文件头写EF BB BF,以表明其转换方法。

UTF-16UCS-2UCS-4UTF-32都没有严格的顺序,所以需要借助BOM

复合函数

数学上的复合函数是一个函数。若g(x)f(x)是函数,则g(f(x))是复合函数。

编码字符集ASCII因为不需要转换格式17、没有字节序的问题,所以ASCII又是:

  • 编码字符集ASCII与转换格式的复合函数(转换格式不作任何事)

  • 编码字符集ASCII、转换格式与字节序函数的复合函数(转换格式和字节序函数不作任何事)

UTF-8第一条规则用的就是上面的第一个含义。

UTF-16BEUTF-16LE,是转换格式UTF-16与高位在前或低位在前的复合。UTF-16BE有时缩写为UTF-16,注意,这与转换格式UTF-16是不同的!18

UCS-2BEUCS-2LE,是转换格式UCS-2与高位在前或低位在前的复合。UCS-2BE有时缩写为UCS-2。注意,这与转换格式UCS-2是不同的!3

UCS-4BEUCS-4LE,是转换格式UCS-4与高位在前或低位在前的复合。UCS-4BE有时缩写为UCS-4。注意,这与转换格式UCS-4是不同的!3

UTF-32BEUTF-32LE,是转换格式UTF-32与高位在前或低位在前的复合。UTF-32BE有时缩写为UTF-32。注意,这与转换格式UTF-32是不同的!19

 

名称

编码次序

字节存储顺序

BOM

UTF-16LE

低位在前

31 67

2C 00

7F 80

69 D8 A5 DE

UTF-16BE

高位在前

67 31

00 2C

80 7F

D8 69 DE A5

UTF-16

低位在前,包含BOM

FF FE

31 67

2C 00

7F 80

69 D8 A5 DE

UTF-16

高位在前,包含BOM

FE FF

67 31

00 2C

80 7F

D8 69 DE A5

Windows记事本中的编码

我们在Windows系统中保存文本文件时通常可以选择编码为ANSIUnicodeUnicode big endianUTF-8。已知Unicode是编码字符集,big endian是一种字节序,UTF-8是转换格式。这三种不同的东西放在一起,是什么意思呢?答案是复合函数。

请看实验!我将字符用这四种选项分别保存,然后查看其16进制代码。记得这个字的二进制流是2A6A5,在UTF-16中的像是D8 96 DE A5。读者可以练习一下计算2A6A5UTF-8下的像。



选项

编码字符集

转换格式

字节存储的顺序

ANSI

英文文件:ASCII

直接表示

直接存储

简体中文系统:GB2312

繁体中文系统:Big5

Unicode

Unicode

UTF-16

低位在前

Unicode big endian

Unicode

UTF-16

高位在前

UTF-8

Unicode

UTF-8

直接存储

所以,以上四项都是复合函数,复合了编码字符集、二进制的字节表示和字节存储的顺序。

很多软件和文章中提到的UnicodeUTF-8之类的,都是这种复合。

爱让一切都对了

2011年3月213月21日 月21日 星期21日 星期一日 星期一

本文依照知识共享- 署名-相同方式共享3.0协议发表


image

四个繁体字龙

1C#语法,依据.Net Framework 4.0

2编码字符集是函数,函数有值域。值域是上域的子集。Unicode中有些位置是保留区域,没有字符来对应,所以不属于值域,但属于上域。

3即函数的定义域。

4即值域的基数的二进制表示的位数。

5即上域的基数的二进制表示的位数。

6即字符A在编码字符集ASCII中的像是01000001

8基本多文种平面里有个代理区,仅该区就可表达1048576个字符。

11UTF-16看成函数。设有函数f,则xf下的是f(x)。若f(x)=2x+1,则3f下的像是。

13文末有该字的图片。

17作动词用。不同于上文的名词转换格式

18根据Vim FencView插件。

19这是我的推理。

阅读更多

没有更多推荐了,返回首页