深入理解字符编码

深入理解字符编码

在这篇文章中，我们将深入探讨字符编码在Qt中的重要性，以及如何正确使用它来避免乱码问题。首先，让我们分析一段Qt代码，这段代码在中文环境下能够正常显示，但在英文环境下可能会出现乱码。

void MainWindow::on_pushButton_clicked()
{
	QTextCodec::setCodeForTr(QTextCode::codecForLocale());
	QMessageBox::information(this, tr("Click me"), tr("我是一段中文"));
}

计算机中所有文件，无论是文本还是视频文件，都是由一系列 0 到 255 的数字构成，这个数字序列称为字节流。在表示字符串时，字符会被映射为字节。ASCII是一种常见的编码规则，在其编码中，0-127 之间的数字用于表示字符，128-255 之间的数字几乎没有使用。因此，如果在字节流中出现大于等于 0x80 的字符，这往往意味着我们可能在使用多字节编码。

随着Unicode的出现，统一码联盟提出了多种编码方案：UCS-2使用两个字节表示所有字符，UTF-16扩展为四字节表示更多字符。为了方便网络传输以及兼容ASCII，UTF-8被定义为一种动态的编码方式，每个字符可以用1到4个字节表示，其中中文通常占用3个字节，而UTF-32或UCS-4则为所有字符提供固定的四字节编码。

自Windows NT发布以来，Windows的API全部改为使用UTF-16编码以更好地支持多语言。然而，由于历史原因，Windows仍然保留了多字节编码的API。UTF-16的API以W结尾，而多字节编码的API以A结尾，例如：CreateWindowA和CreateWindowW。

C++中的字符串常量

在编译器处理字符串常量时，实际上是将引号内的字节数组复制到内存中。因此，下面的几行代码在UTF-8编码的C++源文件中是等价的：

const char s1[] = "C++!";
const char s2[] = "\xe6\x9c\x80\xe5\xa2\x43\x2b"
"\x2b\xe4\xba\x86\xef\xbc\x81";
const char s3[] = { 0xe6, 0x9c, 0x80, 0xe5, 0x96, 0x9c, 0xe6, 0xac,0xbc, 0x81, 0x00 };

std::string本质上是一个字节数组，因此从const char*转换为std::string不会有问题。早期程序开发者在处理编码时不够谨慎，导致文件通常以GBK编码保存，这在中文Windows环境下并不会引发问题。然而，Qt自诞生以来就是一个国际化项目，因此它特别注重字符编码问题。Qt选择使用UTF-16作为QString的编码格式，因此在使用中文字符串常量之前，它们会经历一次从多字节编码转换为UTF-16的过程。

源文件的多字节编码是什么？

源文件编码决定了源代码中字符的存储方式。在Qt 4.x中，默认情况下，如果没有特别指定，源文件编码被认为是Latin-1，这是一种西欧语言的多字节编码。然而，随着Qt 5.x的发布，这一默认设置被修正为UTF-8，这是一种更通用的编码方式，能够表示世界上绝大多数的字符。

Qt 4.x与Qt 5.x的默认编码差异

尽管Qt 5.x已经采用了更为通用的UTF-8编码作为默认设置，但在使用Qt 4.x版本时，开发者需要特别注意源文件的编码问题。如果源文件包含非Latin-1字符，比如中文字符，而编码未正确设置，就可能导致编译错误或运行时乱码。

编码转换规则

Qt中的QString类可以由const char*隐式或显式转换而成。这一过程中使用的编码由QTextCodec::codecForCStrings指定。同样，QObject::tr函数在将const char*转换为QString时，也涉及到编码转换，其使用的编码由QTextCodec::codecForTr指定。

系统编码与Qt Creator

Qt Creator默认使用系统编码（codecForLocale）保存源文件。在中文Windows系统上，这通常是GBK。然而，在非中文平台上，使用GBK编码保存的文件可能会遇到打开困难的问题。为了解决这一问题，开发者可以将QObject::tr和const char*的编码都设置为UTF-8，并确保使用UTF-8编码保存源文件。

cppQTextCodec::setCodecForTr(QTextCodec::codecForName("utf-8"));
QTextCodec::setCodecForCStrings(QTextCodec::codecForName("utf-8"));

编码转换的通用方法

除了通过QObject::tr和const char*进行编码转换外，Qt还提供了更通用的字符编码转换方式。例如，可以从UTF-8格式的字符串创建QString，然后将其转换为GBK格式的QByteArray，再转换回QString。

cppQString s = QString::fromUtf8("这是UTF-8的字符串");
QByteArray gbk_s = QTextCodec::codecForName("gbk")->fromUnicode(s);
QString s2 = QTextCodec::codecForName("gbk")->toUnicode(gbk_s);

文件IO的编码处理

Qt在文件IO操作中也提供了灵活的编码处理方式。使用QTextStream可以指定文件读取和写入时使用的编码，而不仅仅是依赖于系统的默认编码（codecForLocale）。

QFile file(QString::fromUtf8("中文.txt"));
if (file.open(QIODevice::ReadOnly)) {
    QTextStream fin(&file);
    fin.setCodec(QTextCodec::codecForName("utf-8"));
    fin.readLine();
}

QObject::tr 不应滥用

QObject::tr的真正作用是为了方便国际化，它允许Qt配套的工具扫描标记的文本，并由专业的翻译人员进行翻译。当翻译完成后，QObject::tr会在已加载的翻译文件中查找对应的翻译，并替换原来的字符串。显然，有些并不属于需要翻译的，滥用tr会导致翻译文件中出现大量无意义的条目。

QObject::tr应该仅用于那些需要根据不同语言环境显示不同内容的文本，例如界面按钮、提示信息等。对于文件名、程序日志等不需要翻译的文本，应该直接使用原始字符串，避免使用tr函数。