简易分析UTF8和UNICODE转换关系(std::string如何存储汉字)

首先要强调,耐心看完!

第一:必须知道的是,每个数字 字母 符号 中文 火星文 特殊符号,都有对应的编号,比如在ASCII表中可以找到,字母'A'的编号是65,'%'的编号是37,当然ASCII表中只能找到编号在255以内所对应的数字 字母 符号;而每个中文汉字的编号大多是几千~几万的值;

第二:普及下,所谓的UTF8  UTF16  UTF32,就是在计算机内存中,每个字符最小占用多少个字节;

UTF8:每个字符最小占用1字节;(char类型)

UTF16:每个字符最小占用2字节;(tchar类型)

UTF32:每个字符最小占用4字节;(还没用过,不太清楚对应那种类型符号,不过不影响对本文的理解)

补充普及下,什么是"位":在计算机中,所有的存储信息都是0和1组成的,通俗点就是二进制存储,而"1个字节(BYTE)或1个字符(char)"在计算机中占8个位;

char或byte就是典型的字节表示,比如定义char aData[12]就是定义了"12个元素大小的字符数组或字节数组",char c就是定义"1个字符或1个字节",而每个字节的二进制表示范围 0000 0000 ~ 1111 11111,若用十六进制表示范围 0x00 ~ 0xFF,若用十进制表示范围0 ~ 255;

第三:对于UTF8 UTF16 UTF32来说,每个字符占用的存储空间是确定的,即便只是简单的字符"1",用UTF8表示占用1字节,用UTF16表示占用2字节,用UTF32表示则占用4字节;

=================================

前面提到,每个字母,数字,符号,汉字等,都有相应的编号,而UTF8的1字节,所能表示的编号范围(二进制 0000 0000 ~ 1111 1111)(十进制 0 ~ 255)显然无法满足,所以需要更多的字节来组合表示相应的符号/汉字/特殊符号/各种国家文字等,然而要用多少个UTF8字符来表述呢,当然是把编号进行分段处理啦!

编号的分段规则如下:

编号范围(十进制表示)	二进制表示范围	占用字节数
0 ~ 127	0000 0000 ~ 0111 1111	1字节
128 ~ 2047	11000010 10000000 ~ 11011111 10111111	2字节
2048 ~ 65535	11100010 10000000 10000000 ~ 11101111 10111111 10111111	3字节
65536  ~  ‭2097151‬	11110000 10010000 10000000 10000000‬ ~  111101111 10111111 10111111 10111111	4字节
2097152 ~ ‭67108863‬	11111000 10001000 10000000 10000000 10000000 ~ 11111011 10111111 10111111 10111111 10111111	5字节
67108864 ~ ‭2147483647‬	11111100 10000100 10000000 10000000 10000000 10000000 ~ 11111101 10111111 10111111 10111111 10111111 10111111	6字节

 

以上列出的编号是目前字符集中可以用到的,以后还会不会碰上7字节8字节的情况,就不好说了;

认真观察以上表格,不难发现分段规则中,每个字段的前缀规律:

1字节:0aaaaaaa

2字节:110aaaaa 10bbbbbb

3字节:1110aaaa 10bbbbbb 10cccccc

4字节:11110aaa 10bbbbbb 10cccccc 10eeeeee

5字节:111110aa 10bbbbbb 10cccccc 10dddddd 10eeeeee

6字节:1111110a 10bbbbbb 10cccccc 10dddddd 10eeeeee 10ffffff

重点:如何把多个UTF8形式的编码组合成完整的编号,只要把前缀都去掉,剩余的二进制数据排列在一起,最终的值就是目标编码啦!

比如

2字节:aaa aabbbbbb(共11位)

4字节:aaabb bbbbcccc cceeeeee(共21位)

比如:"你好"
用UTF8形式表示值分别位 "你"=‭11100100 10111101 10100000‬ "好"=‭11100101 10100101 10111101‬

去掉前缀之后分别为 "你"=‭0100111101100000‬  "好"=‭0101100101111101‬

用UTF16的表示值分别为 "你"=0x4f60  "好"=0x597d;

要验证该结论的方法很简单,在VS中创建个工程,运行以下代码即可:

std::wstring s;
s.resize(12);
s[0]=0x4f60;//"你"
s[1]=0x597d;//"好"

断点查看s中的内容,就是中文:"你好"