ASCII，Unicode、GB2312、UTF-8和UTF-16各种编码方式的起源

文章为博主日常学习之用，写下来也就等于多看了几遍，又深入想了一下，加深记忆。

 

有一次面试，面试官问我：UTF-8和UTF-16有什么区别？

内心OS：WHAT?那么刁钻的问题也问吗。然后简单地回答道：UTF-8使用一个字节编码，UTF-16使用两个字节编码。（不完全错，但是肯定没回答道点子上）

然后面试结果可想而知...

 

好了，那么UTF-8和UTF-16到底有什么区别呢？带着这个问题，我们来看看编码方式的发展过程。

1. ASCII

上世纪60年代，美国制定了一套字符编码，对英文字符与二进制位之间的关系，做了统一的规定。一个字节为8位，可以表示从00000000-11111111的共256个不同状态，总共可以代表256个符号，这就是ASCII码。ASCII就是将最高位设置为0，取其中的128中不同状态，对应了128个不同的符号。

ASCII 码一共规定了128个字符的编码，比如空格SPACE是32（二进制00100000），大写的字母A是65（二进制01000001）。

 

但是当ASCII传到其他国家时，就有了问题，比如我高贵的法国人字母上面的还有注音符，这个怎么区分，得，把高1位编进来吧，这样欧洲普遍使用一个全字节进行编码，最多可表示256位。欧美人就是喜欢直来直去，字符少，编码用得位数少；

但是即使位数少，不同国家地区用不同的字符编码，虽然0-127表示的符号是一样的，但是128--255这一段的解释完全乱套了，即使2进制完全一样，表示的字符完全不一样，比如135在法语，希伯来语，俄语编码中完全是不同的符号；

更麻烦的是，尼玛这电脑高科技传到中国后，中国人发现我们有10万多个汉字，你们欧美这256字塞牙缝都不够。于是就发明了GB2312这些汉字编码。

 

2. GB2312

中国国家标准总局1980年发布，1981年5月1日开始实施的一套国家标准，标准号是GB2312—1980。

GB2312典型的用2个字节来表示绝大部分的常用汉字，最多可以表示256*256=65536个汉字字符，这样就不难理解有些汉字你在新华字典里查得到，但是电脑上如果不处理一下你是显示不出来的了吧。

 

3. Unicode

这下各用各的字符集编码，这世界咋统一？俄国人发封email给中国人，两边字符集编码不同，尼玛显示都是乱码啊。为了统一，于是就发明了unicode，将世界上所有的符号都纳入其中，每一个符号都给予一个独一无二的编码，现在unicode已经容纳100多万个符号，每个符号的编码都不一样，这下可统一了，所有语言都可以互通，一个网页页面里可以同时显示各国文字。

然而，unicode虽然统一了全世界字符的二进制编码，但没有规定如何存储啊，亲。如果Unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，文本文件的大小会因此大出二三倍，这对于存储来说是极大的浪费。这样导致一个后果：出现了Unicode的多种存储方式。UTF-8是目前占用存储最少，又可以包含很多个统一字符的存储方式。

 

4. UTF-8

互联网的兴起，网页上要显示各种字符，必须统一啊，亲。utf-8就是Unicode最重要的实现方式之一。UTF-8不是固定字长编码的，而是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。这是种比较巧妙的设计，如果一个字节的第一位是0，则这个字节单独就是一个字符；如果第一位是1，则连续有多少个1，就表示当前字符占用多少个字节。

1. 对应单字节符号，字节的第一位设为0，后面的7位为这个符号的Unicode码。因此对于英语字母，UTF-8编码和ASCII编码是相同的。

2. 对于n字节的符号(n>1)，第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10.剩下的没有提及的二进制位，全部为这个符号的Unicode码。

UTF-8 使用1~4个字节为每个字符编码。128 个 ASCII 字符（Unicode 范围由 U+0000 至 U+007F）只需一个字节，带有变音符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及马尔代夫语（Unicode 范围由 U+0080 至 U+07FF）需要二个字节，其他基本多文种平面（BMP）中的字符（CJK属于此类-Qieqie注）使用三个字节，其他 Unicode 辅助平面的字符使用四字节编码。

可以看到，UTF-8在4个字节的时候，可变化的位数为3+6+6+6=21位。也就是有2的21次方，约为209W种变化。1~3位可表示的变化数在7W左右，所以UTF-8总共大概有216W种变化，可以表示216W个字符。这其中已经使用了一百多万中变化，还有一百多万中空余。

注意unicode的字符编码和utf-8的存储编码表示是不同的，例如"严"字的Unicode码是4E25，UTF-8编码是E4B8A5。UTF-8编码不仅考虑了编码，还考虑了存储，E4B8A5是在存储识别编码的基础上塞进了4E25。4E25所在的范围是第三位，0800-FFFF。所以使用3个字节存储。将4E25=0100 1110 0010 0101依次放进UTF-8编码的可变位x里，就得到11100100 10111000 10100101=E4B8A5.

 

5. UTF-16

utf-16一般使用2个字节表示一个字符。也是变长的编码方式，使用2个或4个字节表示一个字符（2个字节不够用时，使用4个字节存储）。UTF-16比起UTF-8，好处在于大部分字符都以固定长度的字节 (2字节) 储存，但UTF-16却无法兼容ASCII编码。

 

现在，回到最初的问题：UTF-8和UTF-16有什么区别？

UTF-8使用1~4个字节进行编码，可兼容ASCII码。在字符都是ASCII码的情况下，存储空间使用最少。

UTF-16使用2个或者4个字节进行编码，不能兼容ASCII码，好处在于大部分字符以2个字节存储。

UTF-8和UTF-16有什么相同之处？

都是Unicode的存储方式。

 

写到这里，也就明白了为什么大部分的文档和代码的编码方式都是UTF-8，它不仅兼容了ASCII码，还提供了一种占用空间最小的存储方式，可以表达世界上的所有字符。到目前为止，还有很多空闲位可以表示字符。

 

另一个问题：汉字是以几个字节进行存储的？

在GB2312里，是用2个字节存储一个汉字，但只能表示常用的65536个汉字。

UTF-8里，绝大部分汉字汉字是以3个字节进行存储。其实UTF-8里的3个字节也是有65536种变化，这样一些稀有字将以4个字节进行存储。

 

 

参考文章：

http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

文中部分说法来自百度知道，但找不到出处，有知道的还请提醒。