字符集的由来:
计算机只能识别二进制数据,早期由来是电信号,为了方便应用计算机,让他可以识别各个国家的文字,就将各个国家的文字用数字来表示,并一一对应,形成一张表,就是编码表。
常见的编码表:
ASCII:美国标准信息交换码,一个字节用8位表示,其中一位是无用的。
ISO8859-1:拉丁码表,欧洲码表,一个字节用8位表示。
GB2312: 中国的中文编码表,最多两个字节编码所有字符。
GBK: 中国中文编码表的升级,融合了更多的中文文字符号,最多两个字节编码。
Unicode: 国际标准码,融合目前人来使用的所有字符,为每个字符分配一个唯一的字符码,所有文字都可以用两个字节表示。
UTF-8: 变长的编码方式,可用1-4个字节来表示一个字符。
Unicode不完美,这里就有三个问题,
第一个问题是,我们已经知道,英文字母只用一个字节表示就够了。
第二个问题是如何才能区别Unicode和ASCII,计算机怎么知道两个字节表示一个符号,而不是分别表示两个符号呢?
第三个问题是,如果和GBK等双字节编码方式一样,用最高位是1或0表示两个字节和一个字节,就少了很多值无法用于表示字符,不够表示所有字符。
因此Uhicode在很长一段时间内无法推广,直到互联网的出现。
面向传输的众多 UTF (UCS Transfer Format) 标准出现了,顾名思义,UTF-8就是每次8个位传输数据,而UTF-16就是每次16个位传输数据。这是为传输而设计的编码,并使编码无国界,这样就可以显示全世界上所有文化的字符了。
Unicode只是定义了一个庞大的、全球通用的宇符集,并为每个字符规定了唯一确定的编号,具体存储成什么样的字节流,取决于字符编码方案。推荐的Unicode编码是UTF-8和UTF-16
在标准UTF-8编码中,超出基本多语言范围(BMP-Basic Multilingual Plane)的字符被编码为4字节格式,但是在修正的UTF-8编码中,他们由代理编码对(surrogatepairs)表示,然后这些代理编码对在序列中分别重新编码。结果标准UTF-8编码中需要4个字节的字符,在修正后的UTF-8编码中将需要6个字节