最近遇到了C++处理中文问题,系统收到UDP消息中的中文为Unicode编码按字符转为ascii码的格式发过来的,例如,外部系统要发个“君”过来,则实际发过来的是“541b”四个字符,现在需要将收到的消息解析后用occi插入DB。
下面就这两天学到的知识做一个总结,有不对的地方还请大家指正。
一、对字符集和编码格式有概念混淆的问题
常见字符集名称:ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。
注意,UTF-8和UTF-16都是基于Unicode字符集的编码格式,前面提到的“君”的UTF-16编码是“541b”,UTF-8的编码是“c5909b”,UTF-16与UTF-8编码格式之间的转换,只需要移位处理即可,但UTF-16与GBK之间的转换,由于跨越了字符集,所以需要做相应的字符映射(也就相当于查表),没有表也就没办法转了。
二、UTF-8与UTF-16编码格式的对应关系如下:
字母x表示可用编码的位。
Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
------------------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
下面就这两天学到的知识做一个总结,有不对的地方还请大家指正。
一、对字符集和编码格式有概念混淆的问题
常见字符集名称:ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。
注意,UTF-8和UTF-16都是基于Unicode字符集的编码格式,前面提到的“君”的UTF-16编码是“541b”,UTF-8的编码是“c5909b”,UTF-16与UTF-8编码格式之间的转换,只需要移位处理即可,但UTF-16与GBK之间的转换,由于跨越了字符集,所以需要做相应的字符映射(也就相当于查表),没有表也就没办法转了。
二、UTF-8与UTF-16编码格式的对应关系如下:
字母x表示可用编码的位。
Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
------------------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
000