编码问题：unicode与utf-8，wchar_t与char

最新推荐文章于 2024-05-22 14:32:15 发布

光速跑者21

最新推荐文章于 2024-05-22 14:32:15 发布

阅读量7.4k

点赞数 3

分类专栏： C++ 文章标签： C++ unicode utf-8 编码

本文链接：https://blog.csdn.net/freestyle4568world/article/details/49591739

版权

本文介绍了Unicode和UTF-8编码的区别，强调Unicode是编码标准，而UTF-8是一种存储和传输Unicode编码的方式。还讨论了大小端存储模式对数据处理的影响，并指出C++中的wchar_t类型在处理中文时的困扰，建议使用Java或Python3进行中文输出。

摘要由CSDN通过智能技术生成

以前一直用C++写编程题，那些面向对象特性和一些泛性编程几乎都没有用到。现在静下心来准备仔细研读一下c++ primer。然后发现里面讲到一个wchar_t类型，两个字节的数据类型，被设计用来存储国际字符的。今天小试了一下发现不行，cout一直输出不了，然后并没有办法按照想要的处理中文wchar_t数组。在网上搜了一下，发现这里面关系到很多编码的知识。趁这次机会一起梳理下。

1.编码

大家经常看到utf-8编码，都觉得这是文字编码，然后又看到unicode编码，GBK编码等，脑子就凌乱了。这里要说一下，其实unicode和GBK才是编码的值，这与计算机其实没有什么太多的关系，完全是数学处理。而utf-8和utf-16是讨论的如何将unicode编码存储在计算机中以及如何在计算机中传输。简单来说，unicode才是编码，而utf-8是存储方式。GBK要转utf-8必须先将其转换成unicode编码，然后再讲unicode编码存储为utf-8格式才行。GBK只是对汉字的国际编码格式，其实我个人觉得并没有什么前景（自从unicode编程流行以后）。我们还是主要关注一下unicode与utf-8的关系吧。

unicode编码(16进制)   UTF-8 字节流(二进制)
0000 - 007F                0xxxxxxx
0080 - 07FF               110xxxxx 10xxxxxx
0800 - FFFF               1110xxxx 10xxxxx