写了这么久的code,无时无刻不与encode打交道,竟然没有搞清楚各字符编码间的区别与联系。今天特意抽了短时间,来补补。
1. ASCII码(American Standard Code for Information Interchange,美国信息交换标准代码)
在计算机中,所有的信息都是以二进制形式存储和表示的。每一个二进制位(bit)有0和1两种状态,因此8个bit(一个字节)就可以组合出256种状态。每一个状态对应一个字符,就可以表示256个字符。
ASCII码使用指定的7位或8位二进制数组合来表示128或256种可能的字符。标准ASCII码也叫基础ASCII码,使用7位二进制数来表示所有的大写和小写字母,数字0-9、标点符号,以及在美式英语中使用的特殊控制字符。0~31及127(共33个)是控制字符或通信专用字符,32~126(共95个)是字符,后128个称为扩展ASCII码。
ASCII码使用指定的7位或8位二进制数组合来表示128或256种可能的字符。标准ASCII码也叫基础ASCII码,使用7位二进制数来表示所有的大写和小写字母,数字0-9、标点符号,以及在美式英语中使用的特殊控制字符。0~31及127(共33个)是控制字符或通信专用字符,32~126(共95个)是字符,后128个称为扩展ASCII码。
2. ISO8859-1
ISO/IEC8859-1,又称Latin-1或“西欧语言”,是国际标准化组织内ISO/IEC 8859的第一个8位字符集。它以ASCII为基础,在空置的0xA0-0xFF的范围内,加入96个字母及符号,藉以供使用变音符号的拉丁字母语言使用。
3. GB2312/GBK/BIG5
对英语来说128个符号编码就够了,但是对其他语言来说,就是把”扩展字符集”填充了也远远满足不了需求,这就产生了多个字节表达一个符号情况。
简体中文常见的编码方式是GB2312,使用两个字节表示一个汉字,所以理论上最多可以表示256x256=65536个符号。台湾搞了一套繁体中文的编码方式BIG5。后来出现一套GB2312的扩展GBK,除了兼容GB2312外,它还能显示繁体中文,还有日文的假名。
简体中文常见的编码方式是GB2312,使用两个字节表示一个汉字,所以理论上最多可以表示256x256=65536个符号。台湾搞了一套繁体中文的编码方式BIG5。后来出现一套GB2312的扩展GBK,除了兼容GB2312外,它还能显示繁体中文,还有日文的假名。
4. Unicode编码
由于存在多种编码方式,因而同一个二进制数字可以被解释成不同的符号。要想打开一个文本文件,就必须知道其编码方式,否则用错误的编码方式解读,就会产生乱码。为了解决传统的字符编码方案的局限,Unicode就诞生了。Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。
1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。
2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。
下表总结了编码规则,字母x表示可用编码的位。
- Unicode的学名是"Universal Multiple-Octet Coded Character Set",简称为UCS。
- Unicode编码系统可分为编码方式和实现方式两个层次。
- UCS有两种编码方式:UCS-2和UCS-4。顾名思义,UCS-2就是用两个字节编码,UCS-4就是用4个字节(实际上只用了31位,最高位必须为0)编码。UCS-2有2^16=65536个码位,UCS-4有2^31=2147483648个码位。
- UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个plane。每个plane根据第3个字节分为256行 (rows),每行包含256个cells。当然同一行的cells只是最后一个字节不同,其余都相同。group 0的plane 0被称作Basic Multilingual Plane, 即BMP。或者说UCS-4中,高两个字节为0的码位被称作BMP。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。在UCS-2的两个字节前加上两个零字节,就得到了UCS-4的BMP。而目前的UCS-4规范中还没有任何字符被分配在BMP之外。
- Unicode的实现方式不同于编码方式。一个字符的Unicode编码是确定的,但是在实际传输过程中,由于不同系统平台的设计不一定一致,以及出于节省空间的目的,对Unicode编码的实现方式有所不同。Unicode的实现方式称为Unicode转换格式(Unicode Transformation Format,简称为UTF)。
5. UTF-8
- UTF-8是Unicode的实现方式之一;
- 它是一种变长编码,需要1~4个8位长的码元来表示;
- 兼容于ASCII编码。
1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。
2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。
下表总结了编码规则,字母x表示可用编码的位。
Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+-------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
跟据上表,解读UTF-8编码非常简单。如果一个字节的第一位是0,则这个字节单独就是一个字符;如果第一位是1,则连续有多少个1,就表示当前字符占用多少个字节。
下面,还是以汉字"严"为例,演示如何实现UTF-8编码。
已知"严"的unicode是4E25(100111000100101),根据上表,可以发现4E25处在第三行的范围内(0000 0800-0000 FFFF),因此"严"的UTF-8编码需要三个字节,即格式是"1110xxxx 10xxxxxx 10xxxxxx"。然后,从"严"的最后一个二进制位开始,依次从后向前填入格式中的x,多出的位补0。这样就得到了,"严"的UTF-8编码是"11100100 10111000 10100101",转换成十六进制就是E4B8A5。
6. UTF-16
- UTF-16也是Unicode的实现方式之一;
- 它是一种变长编码,需要1~2个16位长的码元来表示;
- UTF-16比起UTF-8,好处在于大部分字符都以固定长度的字节 (2字节) 储存,但UTF-16却无法兼容于ASCII编码。
7. BOM(Byte order Mark)
- 字节顺序标记BOM是位于码点U+FEFF的统一码字符的名称。当以UTF-16或UTF-32来将UCS/统一码字符所组成的字符串编码时,这个字符被用来标示其字节序。
- 字节顺序标记被放置为文件或字符串流的第一个字符,如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。
- UTF-8则没有字节顺序的议题。UTF-8编码过的字节顺序标记则被用来标示它是UTF-8的文件。它只用来标示一个UTF-8的文件,而不用来说明字节顺序。如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。