转自:
https://blog.csdn.net/tcf_jingfeng/article/details/80134600#commentBox
1、unicode的诞生
ASCLL表只包含了英文字符和一些符号,用一个字节表示(只用了0~127)。
中国人发明了GBK编码表,采用两个字节来表示所有的汉字(博大精深!
渐渐的编码表多了起来,不同的编码规则下通信就容易造成乱码,因此国际标准组织就发明了一套公用的表unicode编码,把全世界所有国家的字符收录进去。用三个字节来表示。
2、utf-8的诞生
对于通用的unicode表,由于每个字符都需要三个字节来表示,未免过于浪费,因此世界上就出现了一些解决方案。utf8, utf16, utf32
utf-16是用两个字节来编码所有的字符,utf-32则选择用4个字节来编码,utf-8为了节省资源,采用变长编码,编码长度从1个字节到6个字节不等。可由于互联网大部分是1个字节(代码很多英文的),所以最后大家选择用的最多的还是utf-8。
3、utf8的编码解码
-
如果字符只有一个字节则其最高二进制位为0
解码时,当前字符的最高位0,那么就带着当前字节,高2字节补0,去查找unicode表。实际上直接查找ascll表就行了。 -
如果是多字节,其第一个字节从最高位开始,连续的二进制位值为1的个数决定了其编码的字节数,其余各字节均以10开头。