编码相关1 基础知识

一、编码基本知识

1、字符集、字符编码是什么：

字符集是一个系统支持的所有抽象字符的集合

字符编码：

不同的字符编码其实是不同的法则，该法则可以使某种自然语言，与其他信号（信息、号码、电脉冲）相配对——即在自然语言符号与数字系统之间建立特定联系。

简而言之，各种符号通过字符编码转化为可以被计算机识别的数字。

2、常见的编码方式（列举）：

ASCII、GB2312、GBK、GB18030、BIG5、Unicode、UTF-8、UTF-16…

3、计算机编码的大体发展史：

【1】ASCII

在英文中，字符的个数非常有限（一共不过一百多个）。一个字节为8bit，8bit能够表示256个字符。ASCII一共使用7个bit，编码了128个字符。

【2】EASCII

后来当计算机发展到欧洲地区，人们发现很多欧洲所特有的字符ASCII中没有，于是出现了可扩展的ASCII，并且完全兼容ASCII,称为EASCII。

EASCII保留了ASCII的前128个字符，从第129个开始增加西欧独特的字符，一直到第256个。

（EASCII时代比较混乱，没有统一标准）

【3】GB2312

当计算机发展到中国，需要表示的字符远远超出了前面两种编码方式的范围。于是在ASCII的基础上，从第128个开始，每两个编码组合一个汉字。

【4】GBK、GB18030

以上的GB2312仍然没有办法满足汉字的需求（比如一些繁体字、特殊符号等），于是在此基础上，增加了新的内容，形成GBK。

在GBK基础上，加入了藏文、蒙文等主要少数民族字符，形成了GB18030。

【5】Unicode

情况同中国类似，在世界各个地区，都形成了自己的编码标准，相互之间无法交流。于是ISO组织提出了Unicode编码方式。

Unicode规定：任何字符的编码长度由原来的8位改为16个bit组合（即两个字节）

注意：Unicode不与前面任何一种编码方式兼容。

【6】UTF-8

UTF-8是为了解决Unicode在网络上传输问题而出现的，意思是一次传输8个bit，它其实是Unicode的一种使用方式。

UTF-8中的字符编码长度是可变的，它根据具体情况，使用不同个数的bit来编码字符：

例如ASCII字母继续使用1字节储存，重音文字、希腊字母或西里尔字母等使用2字节来储存，而常用的汉字就要使用3字节。辅助平面字符则使用4字节

4、关于Unicode和UTF-8的关系：

UTF-8是Unicode的应用——具体UTF-8规则如下：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。
2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。