GBK、GB2312 UTF8 Unicode

UTF-8：Unicode Transformation Format-8bit，允许含BOM，但通常不含BOM。是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24为（三个字节）来编码。UTF-8包含全世界所有国家需要用到的字符，是国际编码，通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如，如果是UTF8编码，则在外国人的英文IE上也能显示中文，他们无需下载IE的中文语言支持包。

GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBD大。

GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换：

GBK、GB2312－－Unicode－－UTF8

UTF8－－Unicode－－GBK、GB2312

ANSI与ASCII

最初，Internet上只有一种字符集——ANSI的ASCII字符集(American Standard Code for Information Interchange， “美国信息交换标准码），它使用7 bits来表示一个字符，总共表示128个字符，后来IBM公司在此基础上进行了扩展，用8bit来表示一个字符，总共可以表示256个字符，充分利用了 一个字节所能表达的最大信息 
ANSI字符集：ASCII字符集，以及由此派生并兼容的字符集，如：GB2312，正式的名称为MBCS（Multi-Byte Chactacter System，多字节字符系统），通常也称为ANSI字符集。

UNICODE与UTF8，UTF16

由于每种语言都制定了自己的字符集，导致最后存在的各种字符集实在太多，在国际交流中要经常转换字符集非常不便。因此，产生了Unicode字符 集，它固定使用16 bits（两个字节）来表示一个字符，共可以表示65536个字符 
n标准的Unicode称为UTF-16(UTF:UCS Transformation Format )。后来为了双字节的Unicode能够在现存的处理单字节的系统上正确传输，出现了UTF-8，使用类似MBCS的方式对Unicode进行编 码。(Unicode字符集有多种编码形式) 
为什么还要有UTF-8？ 
毕竟互联网70％以上的信息仍然是英文。如果连英文都用2个字节存取(UCS-2)，空间浪费不就太多了？所谓UTF-8就是这样一个为了提高英 文存取效率的字符集转换格式：Unicode Transformation Form 8-bit form。用UTF-8，UNICODE的2字节字符用变长个（1－3个字节）表示：

对英文，仍然和ASCII一样用1个字节表示，这个字节的值小于128(\x80)； 
对其他语言的用一个值位于128-256之间的字节开始，再加后面紧跟的2个字节表示，一个字符一共是3个字节；

因此，在应用中程序处理过程中所有字符都是16位（双字节），但在存取转换成字节流时使用UTF-8格式转换，对于英文字符来说和原来用ASCII 方式存取时相比大小仍然是一样的，而对中文来说和原来的GB2312编码方式相比，大小为：(3字节/2字节)=1.5倍 
 例如“连通”两个字的Unicode标准编码UTF-16 (big endian）为：DE 8F 1A 90 
                 而其UTF-8编码为：E8 BF 9E E9 80 9A

  
当一个软件打开一个文本时，它要做的第一件事是决定这个文本究竟是使用哪种字符集的哪种编码保存的。软件一般采用三种方式来决定文本的字符集和编 码： 
检测文件头标识，提示用户选择，根据一定的规则猜测 
最标准的途径是检测文本最开头的几个字节，开头字节 Charset/encoding,如下表： 
EF BB BF　　　 UTF-8 
FE FF　　　　　UTF-16/UCS-2, little endian 
FF FE　　　　　UTF-16/UCS-2, big endian 
FF FE 00 00　　 UTF-32/UCS-4, little endian. 
00 00 FE FF　　 UTF-32/UCS-4, big-endian.

重要：但是早期的一些软件并没有自动给文件添加这些头部，这样会导致程序需要”猜“是什么编码，但是notepad会认为ansi方式下存的文件 更象一个utf－8的，于是用utf－8来解析这个文件，这样会导致“联通”不能显示