我们知道,世界上存在着多种编码方式,所以同一个二进制数字在不同的编码中被解释成不同的符号。因此,如果我们想要打开一个文本文件,我们必须知道它的编码方式,否则使用不正确的编码方式打开,就会出现乱码。
Unicode
由于上述问题,所以人们就在想,能不能用一种编码,表示世界上所有的符号,每个符号都给与一个独一无二的编码,这样的话,乱码问题就会消失。于是Unicode就诞生了。
Unicode(Universal Character Set,UCS,通用字符集)。Unicode是一个符号集,它只规定了符号的二进制代码,却没有规定这个二进制代码如何来存储。
比如:汉字“蒙”的Unicode是十六进制数8499,转换成二进制数足足有16位(1000 0100 1001 1001),也就是说这个符号的表示至少需要两个字节。表示其他更大的符号,可能需要3个字节或者4个字节,甚至更多。
这里就有两个问题:
- 如何才能区分Unicode和ASCII?计算机如何知道三个字节是表示一个符号,而不是分别表示三个符号呢?
- 我们知道,英文字母只用一个字节表示就够了,如果Unicode统一规定,每个符号用三个或四个字节表示,那么每个英文字母前都必然有2到3个字节为0,这对于存储来说是极大的浪费,文本文件的大小会因此大出两三倍,这是无法接受的。
UTF-8
UTF-8(8-bit Unicode Transformation Format)是一种Unicode的实现方式,Unicode的实现方式还有UTF-16和UTF-32。再说一遍,UTF-8是Unicode的实现方式之一。
UTF-8是一种针对Unicode的可变长度字符编码,他可以使用1~4个字节来表示一个字符,根据不同的符号而变化字节长度。
UTF-8的编码规则有两条:
- 对于单字节的符号,字节的第一位设为0,后面7位为这个符号的Unicode码。因此对于英文字母,UTF-8编码和ASCII码是相同的。
- 对于n字节的符号(n > 1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的Unicode码。
我们来看一个例子: