Java编码问题详解

1>汉字编码的相关说明
  汉字是双字节的，要占用两个BYTE的位置（即16位），分别称为高位和低位。
中国规定的汉字编码为GB2312，这是强制性的，目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号，高位从0xa1到0xfe，低位也是从0xa1到0xfe，其中，汉字的编码范围为0xb0a1到0xf7fe。
另外有一种编码，叫做GBK，但这是一份规范，不是强制的。GBK提供了20902个汉字，它兼容GB2312，编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。
中国还颁布了另一种标准：GB18030-2000（GBK2K）。它收录了藏、蒙等少数民族的字型，从根本上解决了字位不足的问题。注意：它不再是定长的。其二字节部份与GBK兼容，四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe，二字节和第四字节从0x30到0x39。

2>不同语言直接的转换
  异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B，转换的步骤为：先把A转化为Unicode，再把Unicode转化为B。
  举例说明。有GB2312中有一个汉字“李”，其编码为“C0EE”，欲转化为ISO8859-1编码。步骤为：先把“李”字转化为Unicode，得到“674E”，再把“674E”转化为ISO8859-1字符。当然，这个映射不会成功，因为ISO8859-1中根本就没有与“674E”对应的字符。当映射不成功时，问题就发生了！当从某语言向Unicode转化时，如果在某语言中没有该字符，得到的将是Unicode的代码“/uffffd”（“/u”表示是Unicode编码，）。而从Unicode向某语言转化时，如果某语言没有对应的字符，则得到的是“0x3f”（“?”）。这就是“?”的由来。例如：把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作，得到的结果是“/ufffd/u554a”，再println出来，得到的结果将是“?啊”，因为“0x80 0x40”是GBK中的字符，在GB2312中没有。再如，把字符串String="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"进行new String (buf.getBytes("GBK"))操作，得到的结果是“3fa8aca8a6463fa8b4”，其中，“/u00d6”在“GBK”中没有对应的字符，得到“3f”，“/u00ec”对应着“a8ac”，“/u00e9”对应着“a8a6”，“0046”对应着“46”（因为这是ASCII字符），“/u00bb”没找到，得到“3f”，最后，“/u00f9”对应着“a8b4”。把这个字符串println一下，得到的结果是“?ìéF?ù”。看到没？这里并不全是问号，因为GBK与Unicode映射的内容中除了汉字外还有字符，本例就是最好的明证。

3>Unicode格式
  Unicode默认为UTF-16格式。
  UTF-8是Unicode压缩版本，对于大多数常用字符集(ASCII中0~127字符)它只使用单字节，而对其它常用字符(特别是朝鲜和汉语会意文字)，它使用３字节。如果写的主要是英语，那么UTF-8可减少文件大小一半左右。
  UTF-8就是以8位为单元对UCS进行编码，以字节为编码单元，没有字节序的问题。UTF-16以两个字节为编码单元，在解释一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如"奎"的Unicode编码是594E，"乙"的Unicode编码是4E59。如果我们收到UTF-16字节流"594E"，那么这是“奎”还是"乙"？Unicode规范中推荐的标记字节顺序的方法是BOM(即Byte Order Mark)。如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。

3>UTF格式
  UTF，是Unicode Text Format的缩写，意为Unicode文本格式。对于UTF，是这样定义的：
  ● 如果Unicode的16位字符的头9位是0，则用一个字节表示，这个字节的首位是“0”，剩下的7位与原字符中的后7位相同，如“/u0034”（0000 0000 0011 0100），用“34” (0011 0100)表示；（与源Unicode字符是相同的）；
  >7位的Unicode: 0 _ _ _ _ _ _ _
  ● 如果Unicode的16位字符的头5位是0，则用2个字节表示，首字节是“110”开头，后面的5位与源字符中除去头5个零后的最高5位相同；第二个字节以“10”开头，后面的6位与源字符中的低6位相同。如“/u025d”（0000 0010 0101 1101），转化后为“c99d”（1100 1001 1001 1101）；
  >11位的Unicode: 1 1 0 _ _ _ _ _ 1 0 _ _ _ _ _ _
  ● 如果不符合上述两个规则，则用三个字节表示。第一个字节以“1110”开头，后四位为源字符的高四位；第二个字节以“10”开头，后六位为源字符中间的六位；第三个字节以“10”开头，后六位为源字符的低六位；如“/u9da7”（1001 1101 1010 0111），转化为“e9b6a7”（1110 1001 1011 0110 1010 0111）；
  >16位的Unicode: 1 1 1 0 _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
  >21位的Unicode: 1 1 1 1 0 _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _
  可以这么描述JAVA程序中Unicode与UTF的关系，虽然不绝对：字符串在内存中运行时，表现为Unicode代码，而当要保存到文件或其它介质中去时，用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。

4>Java程序中的编码格式内幕
  input(charsetA)-＞process(Unicode)-＞output(charsetB)
  即输入、处理和输出要经过“从charsetA到unicode再到charsetB”的转化。

  SourceFile(jsp,java)-＞class-＞output
  输入的是jsp和java源文件，在处理过程中，以Class文件为载体，然后输出。

　● JSP从源文件到Class的过程。
  在本节中，将阐述JSP文件的解释和编译过程，并跟踪其中的中文变化。
　　1、JSP/Servlet引擎提供的JSP转换工具（jspc）搜索JSP文件中用＜%@ page contentType ="text/html; charset=＜Jsp-charset＞"%＞中指定的charset。如果在JSP文件中未指定＜Jsp-charset＞，则取JVM中的默认设置file.encoding，一般情况下，这个值是ISO8859-1；
　　2、jspc用相当于“javac –encoding ＜Jsp-charset＞”的命令解释JSP文件中出现的所有字符，包括中文字符和ASCII字符，然后把这些字符转换成Unicode字符，再转化成UTF格式，存为JAVA文件。ASCII码字符转化为Unicode字符时只是简单地在前面加“00”，如“A”，转化为“/u0041”（不需要理由，Unicode的码表就是这么编的）。然后，经过到UTF的转换，又变回“41”了！这也就是可以使用普通文本编辑器查看由JSP生成的JAVA文件的原因；
　　3、引擎用相当于“javac –encoding UNICODE”的命令，把JAVA文件编译成CLASS文件；
　　先看一下这些过程中中文字符的转换情况。有如下源代码：
＜%@ page contentType="text/html; charset=gb2312"%＞
＜html＞＜body＞
＜%
　String a="中文";
　out.println(a);
%＞
＜/body＞＜/html＞
  两个字的GB2312编码为“D6 D0 CE C4”。经查表，“中文”两字的Unicode编码为“/u4E2D/u6587”，用 UTF表示就是“E4 B8 AD E6 96 87”。此JSP文件生成的JAVA文件中的“中文”两个字被“E4 B8 AD E6 96 87”替代了，再查看由JAVA文件编译生成的CLASS文件，发现结果与JAVA文件中的完全一样。
 
  再看JSP中指定的CharSet为ISO-8859-1的情况。
＜%@ page contentType="text/html; charset=ISO-8859-1"%＞
＜html＞＜body＞
＜%
　String a="中文";
　out.println(a);
%＞
＜/body＞＜/html＞
  先推测一下生成的JAVA文件和CLASS文件的过程：jspc用ISO-8859-1来解释“中文”，并把它映射到Unicode。由于ISO-8859-1是8位的，其映射规则就是在每个字节前加“00”，所以，映射后的Unicode编码应为“/u00D6/u00D0/u00CE/u00C4”，转化成UTF后应该是“C3 96 C3 90 C3 8E C3 84”。最后，打开文件看一下，JAVA文件和CLASS文件中，“中文”果然都表示为“C3 96 C3 90 C3 8E C3 84”。
  如果上述代码中不指定＜Jsp-charset＞，即把第一行写成“＜%@ page contentType="text/html" %＞”，JSPC会使用file.encoding的设置来解释JSP文件。在RedHat 6.2上，其处理结果与指定为ISO-8859-1是完全相同的。
 
  到现在为止，已经解释了从JSP文件到CLASS文件的转变过程中中文字符的映射过程。一句话：从“JspCharSet到Unicode再到UTF”。

  ● Servlet从源文件到Class的过程
  本节将讨论Servlet的编译过程并跟踪其中的中文变化。
  用“javac”编译Servlet源文件。javac可以带“-encoding ＜Compile-charset＞”参数，意思是“用＜ Compile-charset ＞中指定的编码来解释Serlvet源文件”。
  源文件在编译时，用＜Compile-charset＞来解释所有字符，包括中文字符和ASCII字符。然后把字符常量转变成Unicode字符，最后，把Unicode转变成UTF。
  在Servlet中，还有一个地方设置输出流的CharSet。通常在输出结果前，调用HttpServletResponse的setContentType方法来达到与在JSP中设置＜Jsp-charset＞一样的效果，称之为＜Servlet-charset＞。
  注意，文中一共提到了三个变量：＜Jsp-charset＞、＜Compile-charset＞和＜Servlet-charset＞。其中，JSP文件只与＜Jsp-charset＞有关，而＜Compile-charset＞和＜Servlet-charset＞只与Servlet有关。

import javax.servlet.*;
import javax.servlet.http.*;
class testServlet extends HttpServlet
{
　public void doGet(HttpServletRequest req,HttpServletResponse res)
　throws ServletException,java.io.IOException
　{
　　res.setContentType("text/html; charset=GB2312");
　　java.io.PrintWriter out=res.getWriter();
　　out.println("＜html＞");
　　out.println("#中文#");
　　out.println("＜/html＞");
　}
}

  开始编译。下表是＜Compile-charset＞不同时，CLASS文件中“中文”两字的十六进制码。在编译过程中，＜Servlet-charset＞不起任何作用。＜Servlet-charset＞只对CLASS文件的输出产生影响，实际上是＜Servlet-charset＞和＜Compile-charset＞一起，达到与JSP文件中的＜Jsp-charset＞相同的效果，因为＜Jsp-charset＞对编译和CLASS文件的输出都会产生影响。“中文”两个字的GB2312编码为“D6 D0 CE C4”

Compile-charset   Class文件中                      等效的Unicode码
GB2312            E4 B8 AD E6 96 87(UTF)          /u4E2D/u6587 (在Unicode中＝“中文”)
ISO-8859-1        C3 96 C3 90 C3 8E C3 84 (UTF)   /u00D6 /u00D0 /u00CE /u00C4 (在D6 D0 CE C4前面各加了一个00)
（默认）           同ISO-8859-1                     同ISO-8859-1

  普通Java程序的编译过程与Servlet完全一样。
  接下来看看CLASS又是怎样输出中文的呢？
  上文说过，字符串在内存中表现为Unicode编码。至于这种Unicode编码表示了什么，那要看它是从哪种字符集映射过来的，也就是说要看它的祖先。看看上面的例子，如果给一串Unicode编码“00D6 00D0 00CE 00C4”，如果不作转换，直接用Unicode码表来对照它时，是四个字符（而且是特殊字符）；假如把它与“ISO8859-1”进行映射，则直接去掉前面的“00”即可得到“D6 D0 CE C4”，这是ASCII码表中的四个字符；而假如把它当作GB2312来进行映射，得到的结果很可能是一大堆乱码，因为在GB2312中有可能没有（也有可能有）字符与00D6等字符对应（如果对应不上，将得到0x3f，也就是问号，如果对应上了，由于00D6等字符太靠前，估计也是一些特殊符号，真正的汉字在Unicode中的编码从4E00开始）。
  可以，同样的Unicode字符，可以解释成不同的样子。当然，这其中有一种是我们期望的结果。
  以上例而论，“D6 D0 CE C4”应该是我们所想要的，当把“D6 D0 CE C4”输出到IE中时，用“简体中文”方式查看，就能看到清楚的“中文”两个字了。
  Servlet中，当Compile-charset=Servlet-charset时，显示结果肯定正常。

  ● 最终结论：
  在Class输出字符串前，会将Unicode的字符串按照某一种内码重新生成字节流，然后把字节流输入，相当于进行了一步“String.getBytes(???)”操作。???代表某一种字符集。
  如果是Servlet，那么，这种内码就是在HttpServletResponse.setContentType()方法中指定的内码，也就是上文定义的＜Servlet-charset＞。
  如果是JSP，那么，这种内码就是在＜%@ page contentType=""%＞中指定的内码，也就是上文定义的＜Jsp-charset＞。
  如果是Java程序，那么，这种内码就是file.encoding中指定的内码，默认为ISO8859-1。

5>结论
  在Jsp文件中，要指定contentType，其中，charset的值要与客户端浏览器所用的字符集一样；对于其中的字符串常量，不需做任何内码转换；对于字符串变量，要求能根据ContentType中指定的字符集还原成客户端能识别的字节流，简单地说，就是“字符串变量是基于＜Jsp-charset＞字符集的”；
  在Servlet中，必须用HttpServletResponse.setContentType()设置charset，且设置成与客户端内码一致；对于其中的字符串常量，需要在Javac编译时指定encoding，这个encoding必须与编写源文件的平台的字符集一样，一般说来都是GB2312或GBK；对于字符串变量，与JSP一样，必须“是基于＜Servlet-charset＞字符集的”。