字符与编码

    字符（Character）是人们使用的记号的一种抽象，在电脑和电信领域中，字符是一个信息单位，用来指一个编码过的字符（通常用于程序设计语言的API）；对使用字母系统或音节文字等自然语言，它大约对应为一个音位、类音位的单位或符号。字符的例子有：字母、数字系统或标点符号。另外有所谓控制字符的概念，它是指：并不对应到自然语言中的某个特定符号，而是对应到语言中一些用来处理文句的概念（类似排版）。例子为打印机或其它显示设备的命令，如回车键或tab。字符集则被广泛指为那些对应到特定比特串行的抽象字符的集合。容易混淆的一个概念是字节（Byte），字节是计算机存储数据的单元。

    电脑和通信设备会在表示字符时，会使用字符编码。是指将一个字符对应为某个东西。传统上，是代表整数的比特串（01001等），如此，则可通过网络来传输，同时亦便于存储。两个常用的例子是ASCII和用于统一码的UTF-8。根据谷歌的统计，UTF-8是目前最常用于网页的编码方式。BTW，大部分的字符编码把字符对应到数字或比特串，摩斯密码则是使用不定长度的电子脉冲的串行来表现字符。

    下面我们看看常见的字符集合和编码方式：

    1. ASCII码：是对英文字母数字字符的编码方式，可以表示128个字符的字符集合。
    上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码，一直沿用至今。ASCII码一共规定了128个字符的编码，比如空格“SPACE”是32（二进制00100000），大写的字母A是65（二进制01000001）。这128个符号（包括32个不能打印出来的控制符号），只占用了一个字节的后面7位，最前面的1位统一规定为0。

    2、非ASCII编码：对ASCCII的扩展字符集的编码方式，可以表示256个字符的字符集合。
    英语用128个符号编码就够了，但是用来表示其他语言，128个符号是不够的。比如，在法语中，字母上方有注音符号，它就无法用ASCII码表示。于是，一些欧洲国家就决定，利用字节中闲置的最高位编入新的符号。比如，法语中的é的编码为130（二进制10000010）。这样一来，这些欧洲国家使用的编码体系，可以表示最多256个符号。
    这里又出现了新的问题。不同的国家有不同的字母，因此，哪怕它们都使用256个符号的编码方式，代表的字母却不一样。但是不管怎样，所有这些编码方式中，0—127表示的符号是一样的，不一样的只是128—255的这一段。
    至于亚洲国家的文字，使用的符号就更多了，汉字就多达10万左右。一个字节只能表示256种符号，肯定是不够的，就必须使用多个字节表达一个符号。比如，简体中文常见的编码方式是GB2312，使用两个字节表示一个汉字，所以理论上最多可以表示256x256=65536个符号。

    3.Unicode字符集
    正因为世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。为什么电子邮件常常出现乱码？就是因为发信人和收信人使用的编码方式不一样。
    可以想象，如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种所有符号的编码。
    Unicode伴随着通用字符集的标准而发展，同时也以书本的形式[ The Unicode Standard 第五版. Addison-Wesley Professional. ISBN 0321480910.]对外发表。Unicode至今仍在不断增修，每个新版本都加入更多新的字符。目前最新的版本为第六版，第十万个字符在2005年获采纳，现在的规模可以容纳100多万个符号。Unicode涵盖的数据除了视觉上的字形、编码方法、标准的字符编码外，还包含了字符特性，如大小写字母。

    UCS（Unicode Character Set）规定了怎样用多个自己表示Unicode的字符。包括UCS-2和UCS-4。而怎样传输这些编码一般是有UTF规范规定的。
    Unicode字符集合中每个符号的编码都不一样，比如，U+0639表示阿拉伯字母Ain，U+0041表示英语的大写字母A，U+4E25表示汉字“严”。具体的符号对应表，可以查询unicode.org，或者专门的汉字对应表。需要注意的是，Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。比如，汉字“严”的unicode是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说这个符号的存储至少需要2个字节。存储其他更大的符号，可能需要3个字节或者4个字节，甚至更多。
    这里就有两个严重的问题，第一个问题是，如何才能区别Unicode和ASCII？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。
    它们造成的结果是：1）出现了unicode的多种存储方式，也就是说有许多种不同的二进制格式，可以用来表示unicode。2）unicode在很长一段时间内无法推广，直到互联网的出现。

    4.UTF-8：Unicode转换格式（Unicode Transformation Format，简称为UTF）。
    互联网的普及，强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种Unicode的实现方式。其他实现方式还包括UTF-16和UTF-32，不过在互联网上基本不用。重复一遍，这里的关系是，UTF-8是Unicode的实现方式之一。
    UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。
    UTF-8的编码规则很简单，只有二条：
   1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。
   2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。
  下表总结了编码规则，字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx


下面，还是以汉字“严”为例，演示如何实现UTF-8编码。


已知“严”的Unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是“11100100 10111000 10100101”，转换成十六进制就是E4B8A5。

5. Little endian和Big endian ：Unicode的存储问题。
    Unicode码可以采用UCS-2格式直接存储。还是以汉字”严“为例，Unicode码是4E25，需要用两个字节存储，一个字节是4E，另一个字节是25。存储的时候，4E在前，25在后，就是Big endian方式；25在前，4E在后，就是Little endian方式。
    这两个古怪的名称来自英国作家斯威夫特的《格列佛游记》，具体大家可以google，呵呵。
    因此，第一个字节在前，就是”大头方式“（Big endian），第二个字节在前就是”小头方式“（Little endian）。
那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？

    Unicode规范中定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做”零宽度非换行空格“（ZERO WIDTH NO-BREAK SPACE），用FEFF表示。这正好是两个字节，而且FF比FE大1。如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方式；如果头两个字节是FF FE，就表示该文件采用小头方式。

6.GBK编码:
    即汉字内码扩展规范，K为汉语拼音 Kuo Zhan（扩展）中“扩”字的声母。英文全称Chinese Internal Code Specification。
    字符有一字节和双字节编码，00–7F范围内是一位，和ASCII保持一致，此范围内严格上说有96个文字和32个控制符号。
   之后的双字节中，前一字节是双字节的第一位。总体上说第一字节的范围是81–FE（也就是不含80和FF），第二字节的一部分领域在40–7E，其他领域在80–FE。
具体来说，定义的是下列字节:


比如汉字的“严”，GBK编码为D1CF。同时我们也看到了，Unicode编码方式只和ASCII兼容，而和GBK不兼容。
注意：虽然都是用多个字节表示一个符号，但是GB类的汉字编码与Unicode和UTF-8是毫无关系的。

    字符集合和编码方式是很容易被搞混的两个概念。可以理解成字符集是一系列符号的集合，可以和计算机没有关系。而编码方式是将这些字符映射到计算机里的字节串（或者说bit流）。