怎样使用字符集和编码

 

当你在编写一个程序时，有时不得不把字符写进文件里去。如下面的：

　import java.io.*;    
   
   

    public class Encode1 {
  
  

        public static void main(String args[]) 
  
  

            throws IOException {
  
  

                Writer writer = new FileWriter("out");
  
  

                writer.write("testing");
  
  

                writer.close();
  
  

        }
  
  

    }
  
  

当你在solaris 系列的操作系统或windows 平台运行时，文本文件out 只有7字节。这就是你预期的结果。

　但这里还是有一个重要的问题。Java　字符是16位，这就是说每个字符是2　个字节长。程序Encode1把7个字符写进了文件out里了。并且结果是一个7字节长的文件。你可能要问：其它字符到那儿去了。难道这里把14个字节写进了文件中了吗。

　这个问题归结为“字符编码”了。这个问题是怎样把在java中的16位字符映射成8位字节保存到文件中去。事实上，这里有一非常好的机制，而不是简单的放大、缩小8位或16位，因为在全世界几百种字符编码在使用。这就是说：这种特殊的8位字符序列需要因不同平台、及场所而重新组合成java字符串。

Java系统是通过你因不同的需要而选择特殊编码配置来解决这个问题的。同时它也提供一默认的字符编码基于你的平台和环境。像上面的实例，java系统支持默认的字符编码进行i/o操作。另外，你也可以指定其它的编码（字符集）。这些字符编码是一字符串来描述，比如：”utf-8”。也可以是java.nio.charset.Charset 类的一个实例。Charset　是一抽象类，所以事实上这个实例是Charset　类的子类。

在Encode1例子中，解决编码问题的一种方法是把字符分解成两个字节写进文件中去。竟管这个文件可能没有字节散布在这里面。另外一种办法是把java字符中的高位抛弃。这种办法在上面的例子可以用，但你尝试写一希腊、日语字符串就不会成功了。

在这个例子中实际是用第二种方法来处理的（它的高位字节抛弃）。如果你在Encode1例子中把输出行：writer.write("testing"); 改成：writer.write("testing/u1234");　这输出行的总长将是8字节而不是7字节了。竟管如此，这统一编码字符/u1234　还是不能以一个字节显示出来。

在前面讨论中的“抛弃“有两种意思。如果java字符的高位是0，就像字符是以7位ASCII表示，那么“抛弃”的意思是舍去高位字节。另外一种意思是在某种的环境下你不可能用映射使用一特殊的字符。在这种可能情况下字符（2个字节）可能被一默认的置换字节所取代。就像上面例子中的/u1234 由0x3f　取代了。

下面让我们来看看怎样使用字符集、在字符与字节之间映射。一个基本的问题是：那些字符集是可用呢？下面这个程序演示了一个列表：

import java.nio.charset.*;
  
  

    import java.util.*;
  
  

    public class Encode2 {
  
  

        public static void main(String args[]) {
  
  

            Map availcs = Charset.availableCharsets();
  
  

            Set keys = availcs.keySet();
  
  

            for (Iterator iter = 
  
  

                keys.iterator();iter.hasNext();) {
  
  

                    System.out.println(iter.next());
  
  

                }
  
  

        }
  
  

    }
  
  

它的输出结果是如下：（没有＊号字符）

　    ISO-8859-1*
   
   

    ISO-8859-15
  
  

    US-ASCII*
  
  

    UTF-16*
  
  

    UTF-16BE*
  
  

    UTF-16LE*
  
  

    UTF-8*
  
  

    windows-1252
  
  

＊     号符在这儿用以区别那些支持所java平台字符。

另一基本的问题是：在你自己的系统里的默认的字符集是什么呢？下面这个程序显示了这个默认的字符集的名字：

    import java.io.*;
  
  

    import java.nio.charset.*;
  
  

    public class Encode3 {
  
  

        public static void main(String args[]) 
  
  

            throws IOException {
  
  

                FileWriter filewriter = 
  
  

                    new FileWriter("out");
  
  

                String encname = 
  
  

                    filewriter.getEncoding();
  
  

                filewriter.close();
  
  

                System.out.println(
  
  

                    "default charset is: " + encname);
  
  

                /*
  
  

                Charset charset1 = 
  
  

                    Charset.forName(encname);
  
  

                Charset charset2 = 
  
  

                    Charset.forName("windows-1252");
  
  

                if (charset1.equals(charset2)) {
  
  

                    System.out.println(
  
  

                        "Cp1252/windows-1252 equal");
  
  

                }
  
  

                else {
  
  

                    System.out.println(
  
  

                        "Cp1252/windows-1252 unequal");
  
  

            }
  
  

            */
  
  

        }
  
  

    }
  
  

当你运行这处程序时，你看到的结果是如下：

　default charset is: Cp1252

注意这个字符集并不在每个java实现所需支持的字符集一览表中。因为默认的字符集并不是在必需的字符中的一种。这个例子也有一些注释性的逻辑说明演示了你可以决定所选的字符是否为默认的字符。它表明”windows-1252” 与 “Cp1252”字符集事情上是同一个字符集。这个逻辑也显示出因为”Cp1252”并不是所必须支持的，所以这种逻辑对你来说也没有太大意义。

　你可能看到还有一种方式可以得到默认字符集的名字：通过查找系统属性”file.encoding”。这个方法可以工作，但这个属性并不保证在所有的java平台上都已经定义了。

　在Encode3 程序中，Charset.forName 用于以一串字符名(“US-ASCII)找到字符集对象。

这里另一例子正是用这一技术的：

import java.nio.charset.*;
  
  

    public class Encode4 {
  
  

        public static void main(String args[]) {
  
  

            if (args.length != 1) {
  
  

                System.out.println(
  
  

                    "missing charset name");
  
  

                System.exit(1);
  
  

            }
  
  

            String charsetname = args[0];
  
  

            Charset charset;
  
  

            try {
  
  

                charset = Charset.forName(charsetname);
  
  

                System.out.println(
  
  

                    "charset lookup successful");
  
  

            }
  
  

            catch (UnsupportedCharsetException exc) {
  
  

                System.out.println(
  
  

                    "unknown charset: " + charsetname);
  
  

            }
  
  

        }
  
  

    }
  
  

如果你用如下方式运行：

$ java Encode4 XYZ

它将检查”XYZ”是否支持在本系统中字符集，如果支持，就获得这个字符对象。

知道这些所有的背景后，你怎样使用这些字符集呢。这里将重复使用第一个例子Encode1了。

import java.io.*;
  
  

    public class Encode5 {
  
  

        public static void main(String args[]) 
  
  

            throws IOException {
  
  

                FileOutputStream fileoutstream =
  
  

                    new FileOutputStream("out");
  
  

                Writer writer = new OutputStreamWriter(
  
  

                    fileoutstream, "UTF-8");
  
  

                writer.write("testing");
  
  

                writer.close();
  
  

        }
  
  

    }
  
  

Ecode1程序看起来并不简单易用。它使用了基于平台和环境的默认字符集。比较这两个例子。Encode5 程序使用了标准的字符集(UTF-8)。和很早提及的说法，在Encode1 程序中所使用的默认字符集通过抛弃高位字符的字节。使用　UTF－8字符集可以解决这一问题。如果你把输出行：
  
  

   Writer.write(“testing ”);
  
  

　改成：writer.write(“testing/u1234”);
    
    

它仍然可以正常运行。字符集 UTF-8 在处理7位ASCII 的方式时有其非常大的优势。
  
  

这里有另外一个例子。它表明你怎样把java字符串转化成字节向量、特定的编码。
   
   

　import java.io.*;
  
  

    public class Encode6 {
  
  

        public static void main(String args[])
  
  

        throws UnsupportedEncodingException {
  
  

            String str = "testing";
  
  

            byte bytevec1[] = str.getBytes();
  
  

            byte bytevec2[] = str.getBytes("UTF-16");
  
  

            System.out.println("bytevec1 length = " +
  
  

                bytevec1.length);
  
  

            System.out.println("bytevec2 length = " +
  
  

                bytevec2.length);
  
  

        }
  
  

    }
  
  

在你的系统中输出可能是这样的：
   
   

　bytevec1 length = 7
   
   

bytevec2 length = 16
  
  

第一个转化是运用默认的字符集。第二个转化是运用UTF－16　字符集。
   
   

下面还有最后一个关于字符编码要讨论的事。
   
   

你可能还会想知道这个特定的映射或编码的运算法则是什么？　在这里有一些从DataOuputStream.writeUTF.摘录下来的编码。它被用来把字符向量映射成字节向量。
   
   

　for (int i = 0; i < strlen; i++) {
   
   

        c = charr[i];
  
  

        if ((c >= 0x0001) && (c <= 0x007F)) {
  
  

            bytearr[count++] = (byte) c;
  
  

        }
  
  

        else if (c > 0x07FF) {
  
  

            bytearr[count++] = 
  
  

                (byte) (0xE0 | ((c >> 12) & 0x0F));
  
  

            bytearr[count++] = 
  
  

                (byte) (0x80 | ((c >>  6) & 0x3F));
  
  

            bytearr[count++] = 
  
  

                (byte) (0x80 | ((c >>  0) & 0x3F));
  
  

        }
  
  

        else {
  
  

            bytearr[count++] = 
  
  

                (byte) (0xC0 | ((c >>  6) & 0x1F));
  
  

            bytearr[count++] = 
  
  

                (byte) (0x80 | ((c >>  0) & 0x3F));
  
  

        }
  
  

    }
  
  

字符从charr 中取出。转化成1－3个字节长。并把它写进bytearr中去。在0X1－0X7（7－bit ascII）范围内的字符被映射成它们自己。字符值为0X0和在0X80－0X7范围内的字符被映射成2个字节。所以其它的字符被映射成3个字节。