Unicode 编码

Unicode(Universal Multiple-Octet Coded Character Set):   目前最流行和最有前途的字符编码规范,因为它解决了不同语言编码的冲突。     Unicode由来:   最初的字符编码ascii(8bit,最高位为0)只能表示128个字符,表示英文、数字和一些符号是没问题。但是世界不止一种语言,即使用上了最高为1的扩展ascii码,也只有256个字符。对中日韩文、阿拉伯文之类复杂的文字,就无法使用了。   于是,各国都制定了自己的兼容ascii编码规范,就是各种ansi码,比如我国的gb2312，用两个扩展ascii字符来表示一个中文。但是这些ansi码无法同时存在,因为它们的定义互相重叠,要自由使用不同语言就必须有一个新编码,为各种文字统一分配编码。   ISO(国际标准化组织)和Uicode协会(一个软件制造商的协会）分别开始了这个工作。即ISO的ISO 10646项目和Unicode协会的Unicode项目。后来它们开始合并了双方的工作成果，采用相同的字库和字码。但目前两个项目都存在并独立地公布自己的标准。     UCS(Unicode Character Set):   这是Uicode在ISO的名称,目有两套编码方法,UCS-2(Unicode)用2个字节表示一个字符,UCS-4(Unicode-32)用4个字节表示一个字符。UCS-4是由USC-2扩展来的,增加了2字节的高位。即使是老UCS-2,它也可以表示2^16=65535个字符,基本上可以容纳所有常用各国字符,所以目前基本都使用UCS-2。     UTF(UCS Transformation Format):   Unicode使用2个字节表示一个字符,ascii使用1个字节,所以在很多方面产生了冲突，以前处理ascii的方法都必须重写。而且C语言用/0作为字符串结束标志,但Unicode中很多字符都含/0,C语言的字符串函数也无法正常处理Unicode。为了把unicode投入实用,出现了UTF,最常见的是UTF-8和UTF-16。   其中UTF-16和Unicode本身的编码是一致的,UTF-32和UCS-4也是相同的。最重要的是UTF-8,可以完全兼容ascii编码 。UTF是一种变长的编码,它的字节数是不固定的,使用第一个字节确定字节数。第一个字节首为0即一个字节,110即2字节,1110即3字节,字符后续字节都用10开始,这样不会混淆且单字节英文字符可仍用ASCII编码。理论上UTF-8最大可以用6字节表示一个字符,但Unicode目前没有用大于0xffff的字符,实际UTF-8最多使用了3个字节。   unicode转化为UTF-8的方法       Unicode码范围     UTF-8编码       0000-007F       0xxxxxxx       0080-07FF       110xxxxx 10xxxxxx       0800-FFFF       1110xxxx 10xxxxxx 10xxxxxx   汉字的Unicode编码范围是0080-07FF,因此是2字节编码。     Big Endian(大字节序)和Little Endian(小字节序):   Unicode存储时有个字节序问题,就是一个多字节数字,是从大到小排列还是反之。这和CPU处理有关,一般x86处理时都是倒置的,即大数在前。就像“莫”字的Unicode码0x83ab,按Big Endian就变成了0xab83。     BOM(Byte Order Mark):   因为Unicode存储时字节序的问题,在Unicode文本前插入一个不存在的字符(ZERO WIDTH NO-BREAK SPACE)作为标志来分辨两种字节序。标志0xfeff说明按Big Endian字节序,而0xfffe说明Little-Endian。 UTF-8不需要BOM来说明字节序，但可以用BOM标志编码方式。遇到带0xefbbbf开头的文本,计算机就可以不需要分辨直接按UTF-8编码处理。     BMP(Basic Multilingual Plane):   这是Unicode实际和字符对应的划分方式中的概念。   按UCS-4为例子   首字节首位恒为0,剩下7位可以划分2^7=128个group(组)。   第二个字节,每个group下面可以有2^8=256个plane(平面)。   第三个字节,可以给每个palne带来256个row(行)。   第四个字节,这里的8位又可以每row可以划分256个cell(格子)。   group 0中的plane 0就是BMP,即前两个字节为0x0000的UCS-4码。去掉0x0000的BMP上的UCS-4就变成了UCS-2编码。或者说UCS-2是USC-4的子集,BMP就是UCS-2在USC-4中的位置。我们从这里还可以得到USC-2转为UCS-4的方法,再UCS-2前面插入2个字节0x0000。