首先要强调,耐心看完!
第一:必须知道的是,每个数字 字母 符号 中文 火星文 特殊符号,都有对应的编号,比如在ASCII表中可以找到,字母'A'的编号是65,'%'的编号是37,当然ASCII表中只能找到编号在255以内所对应的数字 字母 符号;而每个中文汉字的编号大多是几千~几万的值;
第二:普及下,所谓的UTF8 UTF16 UTF32,就是在计算机内存中,每个字符最小占用多少个字节;
UTF8:每个字符最小占用1字节;(char类型)
UTF16:每个字符最小占用2字节;(tchar类型)
UTF32:每个字符最小占用4字节;(还没用过,不太清楚对应那种类型符号,不过不影响对本文的理解)
补充普及下,什么是"位":在计算机中,所有的存储信息都是0和1组成的,通俗点就是二进制存储,而"1个字节(BYTE)或1个字符(char)"在计算机中占8个位;
char或byte就是典型的字节表示,比如定义char aData[12]就是定义了"12个元素大小的字符数组或字节数组",char c就是定义"1个字符或1个字节",而每个字节的二进制表示范围 0000 0000 ~ 1111 11111,若用十六进制表示范围 0x00 ~ 0xFF,若用十进制表示范围0 ~ 255;
第三:对于UTF8 UTF16 UTF32来说,每个字符占用的存储空间是确定的,即便只是简单的字符"1",用UTF8表示占用1字节,用UTF16表示占用2字节,用UTF32表示则占用4字节;
=================================
前面提到,每个字母,数字,符号,汉字等,都有相应的编号,而UTF8的1字节,所能表示的编号范围(二进制 0000 0000 ~ 1111 1111)(十进制 0 ~ 255)显然无法满足,所以需要更多的字节来组合表示相应的符号/汉字/特殊符号/各种国家文字等,然而要用多少个UTF8字符来表述呢,当然是把编号进行分段处理啦!
编号的分段规则如下:
编号范围(十进制表示) | 二进制表示范围 | 占用字节数 |
0 ~ 127 | 0000 0000 ~ 0111 1111 | 1字节 |
128 ~ 2047 | 11000010 10000000 ~ 11011111 10111111 | 2字节 |
2048 ~ 65535 | 11100010 10000000 10000000 ~ 11101111 10111111 10111111 | 3字节 |
65536 ~ 2097151 | 11110000 10010000 10000000 10000000 ~ 111101111 10111111 10111111 10111111 | 4字节 |
2097152 ~ 67108863 | 11111000 10001000 10000000 10000000 10000000 ~ 11111011 10111111 10111111 10111111 10111111 | 5字节 |
67108864 ~ 2147483647 | 11111100 10000100 10000000 10000000 10000000 10000000 ~ 11111101 10111111 10111111 10111111 10111111 10111111 | 6字节 |
以上列出的编号是目前字符集中可以用到的,以后还会不会碰上7字节8字节的情况,就不好说了;
认真观察以上表格,不难发现分段规则中,每个字段的前缀规律:
1字节:0aaaaaaa
2字节:110aaaaa 10bbbbbb
3字节:1110aaaa 10bbbbbb 10cccccc
4字节:11110aaa 10bbbbbb 10cccccc 10eeeeee
5字节:111110aa 10bbbbbb 10cccccc 10dddddd 10eeeeee
6字节:1111110a 10bbbbbb 10cccccc 10dddddd 10eeeeee 10ffffff
重点:如何把多个UTF8形式的编码组合成完整的编号,只要把前缀都去掉,剩余的二进制数据排列在一起,最终的值就是目标编码啦!
比如
2字节:aaa aabbbbbb(共11位)
4字节:aaabb bbbbcccc cceeeeee(共21位)
比如:"你好"
用UTF8形式表示值分别位 "你"=11100100 10111101 10100000 "好"=11100101 10100101 10111101
去掉前缀之后分别为 "你"=0100111101100000 "好"=0101100101111101
用UTF16的表示值分别为 "你"=0x4f60 "好"=0x597d;
要验证该结论的方法很简单,在VS中创建个工程,运行以下代码即可:
std::wstring s;
s.resize(12);
s[0]=0x4f60;//"你"
s[1]=0x597d;//"好"
断点查看s中的内容,就是中文:"你好"