UTF-8编码实测

最新推荐文章于 2024-05-05 00:45:00 发布

炼气散人

最新推荐文章于 2024-05-05 00:45:00 发布

阅读量5.7k

点赞数 2

分类专栏：字符与编码

本文链接：https://blog.csdn.net/csfreebird/article/details/8571726

版权

本文通过C++程序探讨UTF-8字符的二进制格式，关注于UTF-8编码的实践应用。在Ubuntu 12.04 32bit环境下，使用GCC 4.6.3，对汉字'一'的Unicode码0x4E00进行编码，揭示UTF-8的Big endian特性，并利用boost::locale库进行UTF-8到Unicode码的转换。

摘要由CSDN通过智能技术生成

本文打算用C++程序跟踪UTF-8字符的二进制格式。从实践上感受一下UTF-8的应用。

开发环境是UBuntu12.04 32bit OS. GCC 4.6.3，系统字节顺序是little endian.

如果有汉字‘一’，首先通过一个网站工具：http://rishida.net/tools/conversion/ 可以查到它的Unicode码是：0x4E00

用UTF-8对0x4E00进行编码后是：E4 B8 80，三字节。

下面的代码用来打印二进制码：

#include "test.h"
#include "util/endian.h"
#include "util/utf.h"
#include <iostream>

using namespace std;

int main(int argc, char ** argv) {
  // TEST(3 > 2);
  char const * p = "一";
  cout << PrintStringAsBinaryString(p) << endl;
  string str = "一";
  cout << PrintStringAsBinaryString(str) << endl;
  cout << IsLittleEndian() << endl;
}

utf.h中的两个函数实现代码：