在平时处理中文字符时经常会遇到乱码问题,为了弄清楚其中原因,做了个实验。
在实验前需要先了解几个概念:
1、ANSI编码
ANSI不是一种具体的编码方式,它依赖于当前系统使用的码表,在命令行中使用chcp命令可以获取到系统当前使用的码表。
VS新建的项目默认使用ANSI编码。
2、源文件编码
VS新增的文件默认为ANSI编码,我们可以把源文件编码方式改为utf8。但前面提到VS项目默认使用ANSI编码,
所以我们还需要修改项目属性,以告诉编译器用utf8编码来解析源文件。
项目属性修改:项目属性 -> C/C++ -> 所有选项 -> 附加选项 -> 添加"/utf-8"
3、运行时locale属性
运行时Locale指定了实际输出字符的函数使用的编码方式。C运行时默认为locale C。
4、VS项目属性中字符集
字符集属性并不决定编码方式,只是通过条件编译决定了一些通用符号(如TCHAR等)到底指向unicode版本还是ansi版本。
实验
实验均建立在源文件编码方式和项目使用编码方式一致前提下:
// setlocale(LC_ALL, "zh_CN_.UTF-8");
// setlocale(LC_ALL, "chs");
char *str = "我";
printf("%s\n", str);
wchar_t *wstr = L"我";
wprintf(wstr);
源文件 | 类型 | locale | 内存 | 输出 |
---|---|---|---|---|
utf8 | char | C | e6 88 91 | 乱码 |
utf8 | wchar_t | C | 11 62 | 乱码 |
utf8 | char | utf8 | e6 88 91 | 正常 |
utf8 | wcahr_t | utf8 | 11 62 | 正常 |
utf8 | char | chs | e6 88 91 | 乱码 |
utf8 | wchar_t | chs | 11 62 | 正常 |
ansi | char | C | ce d2 | 正常 |
ansi | wchar_t | C | 11 62 | 乱码 |
ansi | char | utf8 | ce d2 | 乱码 |
ansi | wchar_t | utf8 | 11 62 | 正常 |
ansi | char | chs | ce d2 | 正常 |
ansi | wchar_t | chs | 11 62 | 正常 |
编码 | utf8 | unicode | gbk |
---|---|---|---|
我 | e6 88 91 | 11 62 | ce d2 |
从表格可以看出:
1、当用 wchar_t 保存字符串时,实际内存中的编码方式都是 unicode。
2、当用 char 保存字符串时,实际内存中的编码方式和源文件保持一致。
3、无论内存中是什么编码方式,输出既可能乱码也可能正常。
小结:
编译器使用项目属性指定的编码方式来解析源文件,并根据保存字符串的类型来决定写入二进制文件的编码方式,也就是决定了程序运行时内存中的编码方式。
但这不会造成乱码,造成乱码的是内存到输出这一过程。
因为内存中保存的肯定是对应字体的其中一种编码方式,输出乱码是因为没有设置合适的本地编码方式,使用了错误的码表。
没查到关于 locale C 和 locale chs 的相关资料,所以没有得出进一步的结论。