字符，字节和编码

导读：

　　我们实际上没有必要去深究每一种编码具体把某一个字符编码成了哪几个字节，我们只需要知道“编码”的概念就是把“字符”转化成“字节”就可以了。对于“UNICODE 编码”，由于它们是可以通过计算得到的，因此，在特殊的场合，我们可以去了解某一种“UNICODE 编码”是怎样的规则。

　　2. 字符与编码在程序中的实现

　　2.1 程序中的字符与字节

　　在 C++ 和 Java 中，用来代表“字符”和“字节”的数据类型，以及进行编码的方法：

　　类型或操作 C++ Java

　　字符 wchar_t char

　　字节 char byte

　　ANSI 字符串 char[ ] byte[ ]

　　UNICODE 字符串 wchar_t[ ] String

　　字节串→字符串 mbstowcs(), MultiByteToWideChar() string = new String(bytes, "encoding")

　　字符串→字节串 wcstombs(), WideCharToMultiByte() bytes = string.getBytes("encoding")

　　以上需要注意几点：

　　Java 中的 char 代表一个“UNICODE 字符（宽字节字符）”，而 C++ 中的 char 代表一个字节。

　　MultiByteToWideChar() 和 WideCharToMultiByte() 是 Windows API 函数。

　　2.2 C++ 中相关实现方法

　　声明一段字符串常量：

　　// ANSI 字符串，内容长度 7 字节

　　char sz[20] = "中文123"

　　// UNICODE 字符串，内容长度 5 个 wchar_t（10 字节）

　　wchar_t wsz[20] = L"/x4E2D/x6587/x0031/x0032/x0033"

　　UNICODE 字符串的 I/O 操作，字符与字节的转换操作：

　　// 运行时设定当前 ANSI 编码，VC 格式

　　setlocale(LC_ALL, ".936");

　　// GCC 中格式

　　setlocale(LC_ALL, "zh_CN.GBK");

　　// Visual C++ 中使用小写 %s，按照 setlocale 指定编码输出到文件

　　// GCC 中使用大写 %S

　　fwprintf(fp, L"%s/n", wsz);

　　// 把 UNICODE 字符串按照 setlocale 指定的编码转换成字节

　　wcstombs(sz, wsz, 20);

　　// 把字节串按照 setlocale 指定的编码转换成 UNICODE 字符串

　　mbstowcs(wsz, sz, 20);

　　在 Visual C++ 中，UNICODE 字符串常量有更简单的表示方法。如果源程序的编码与当前默认 ANSI 编码不符，则需要使用 #pragma setlocale，告诉编译器源程序使用的编码：

　　// 如果源程序的编码与当前默认 ANSI 编码不一致，

　　// 则需要此行，编译时用来指明当前源程序使用的编码

　　#pragma setlocale(".936")

　　// UNICODE 字符串常量，内容长度 10 字节

　　wchar_t wsz[20] = L"中文123"

　　以上需要注意 #pragma setlocale 与 setlocale(LC_ALL, "") 的作用是不同的，#pragma setlocale 在编译时起作用，setlocale() 在运行时起作用。

　　2.3 Java 中相关实现方法

　　字符串类 String 中的内容是 UNICODE 字符串：

　　// Java 代码，直接写中文

　　Stringstring = "中文123"

　　// 得到长度为 5，因为是 5 个字符

　　System.out.println(string.length());

　　字符串 I/O 操作，字符与字节转换操作。在 Java 包 java.io.* 中，以“Stream”结尾的类一般是用来操作“字节串”的类，以“Reader”，“Writer”结尾的类一般是用来操作“字符串”的类。

　　// 字符串与字节串间相互转化

　　// 按照 GB2312 得到字节（得到多字节字符串）

　　byte[] bytes = string.getBytes("GB2312");

　　// 从字节按照 GB2312 得到 UNICODE 字符串

　　string = newString(bytes, "GB2312");

　　// 要将 String 按照某种编码写入文本文件，有两种方法：

　　// 第一种办法：用 Stream 类写入已经按照指定编码转化好的字节串

　　OutputStream os = newFileOutputStream("1.txt");

　　os.write(bytes);

　　os.close();

　　// 第二种办法：构造指定编码的 Writer 来写入字符串

　　Writer ow = newOutputStreamWriter(newFileOutputStream("2.txt"), "GB2312");

　　ow.write(string);

　　ow.close();

　　/* 最后得到的 1.txt 和 2.txt 都是 7 个字节 */

　　如果 java 的源程序编码与当前默认 ANSI 编码不符，则在编译的时候，需要指明一下源程序的编码。比如：

　　E:/>javac -encoding BIG5Hello.java

　　以上需要注意区分源程序的编码与 I/O 操作的编码，前者是在编译时起作用，后者是在运行时起作用。

　　3. 几种误解，以及乱码产生的原因和解决办法

　　3.1 容易产生的误解

　　

　　

　　

　　

　　

　　

　　g.jpg(60.88 KB)

　　2007-8-22 18:17 第一种误解，往往是导致乱码产生的原因。第二种误解，往往导致本来容易纠正的乱码问题变得更复杂。

　　在这里，我们可以看到，其中所讲的“误解一”，即采用每“一个字节”就是“一个字符”的转化方法，实际上也就等同于采用 iso-8859-1 进行转化。因此，我们常常使用 bytes = string.getBytes("iso-8859-1") 来进行逆向操作，得到原始的“字节串”。然后再使用正确的 ANSI 编码，比如 string = new String(bytes, "GB2312")，来得到正确的“UNICODE 字符串”。

　　3.2 非 UNICODE 程序在不同语言环境间移植时的乱码

　　非 UNICODE 程序中的字符串，都是以某种 ANSI 编码形式存在的。如果程序运行时的语言环境与开发时的语言环境不同，将会导致 ANSI 字符串的显示失败。

　　比如，在日文环境下开发的非 UNICODE 的日文程序界面，拿到中文环境下运行时，界面上将显示乱码。如果这个日文程序界面改为采用 UNICODE 来记录字符串，那么当在中文环境下运行时，界面上将可以显示正常的日文。

　　由于客观原因，有时候我们必须在中文操作系统下运行非 UNICODE 的日文软件，这时我们可以采用一些工具，比如，南极星，AppLocale 等，暂时的模拟不同的语言环境。

　　3.3 网页提交字符串

　　当页面中的表单提交字符串时，首先把字符串按照当前页面的编码，转化成字节串。然后再将每个字节转化成 "%XX" 的格式提交到 Web 服务器。比如，一个编码为 GB2312 的页面，提交 "中" 这个字符串时，提交给服务器的内容为 "%D6%D0"。

　　在服务器端，Web 服务器把收到的 "%D6%D0" 转化成 [0xD6, 0xD0] 两个字节，然后再根据 GB2312 编码规则得到 "中" 字。

　　在 Tomcat 服务器中，request.getParameter() 得到乱码时，常常是因为前面提到的“误解一”造成的。默认情况下，当提交 "%D6%D0" 给 Tomcat 服务器时，request.getParameter() 将返回 [0x00D6, 0x00D0] 两个 UNICODE 字符，而不是返回一个 "中" 字符。因此，我们需要使用 bytes = string.getBytes("iso-8859-1") 得到原始的字节串，再用 string = new String(bytes, "GB2312") 重新得到正确的字符串 "中"。

　　3.4 从数据库读取字符串

　　通过数据库客户端（比如 ODBC 或 JDBC）从数据库服务器中读取字符串时，客户端需要从服务器获知所使用的 ANSI 编码。当数据库服务器发送字节流给客户端时，客户端负责将字节流按照正确的编码转化成 UNICODE 字符串。

　　如果从数据库读取字符串时得到乱码，而数据库中存放的数据又是正确的，那么往往还是因为前面提到的“误解一”造成的。解决的办法还是通过 string = new String( string.getBytes("iso-8859-1"), "GB2312") 的方法，重新得到原始的字节串，再重新使用正确的编码转化成字符串。

　　3.5 电子邮件中的字符串

　　当一段 Text 或者 HTML 通过电子邮件传送时，发送的内容首先通过一种指定的字符编码转化成“字节串”，然后再把“字节串”通过一种指定的传输编码（Content-Transfer-Encoding）进行转化得到另一串“字节串”。比如，打开一封电子邮件源代码，可以看到类似的内容：

　　Content-Type: text/plain;

　　charset="gb2312"

　　Content-Transfer-Encoding: base64



本文转自

http://www.mysqlpub.com/viewthread.php?tid=174&extra=page%3D1