测试过程中遇到字符集问题小结

 作者：赵璨

 这两天我们在用dbunit插IM数据库时碰到了乱码问题，初步做了研究，分享一下，可能对其他测试同学也会有点帮助。有错误的地方大家尽管指出。

 

一：理论

       编程过程中涉及到的字符集编码问题通常涉及到这样几个因素：

1.      文件编码格式

例如XML文件通过第一行的声明指定了文件的编码格式。Java中可以通过InputStream读取文件，用InputStreamReader来对读取后的字节解码。这些在陈教兽的blog中也有（http://blog.csdn.net/linkyou/archive/2009/03/14/3990547.aspx），例如：

InputStream is = new FileInputStream("z.xml");   
InputStreamReader streamReader = new InputStreamReader(is, "GBK");

当然也有用其他方式解码的，例如Dom4j等等。

2.      JVM编码格式

默认的Java都是使用Unicode字符集已做到更好的国际化。因此当需要解析其他字符集的时候，我们需要进行相应的解码。例如：

String s = "abc";        byte[] b = s.getBytes("UTF-8");

 

又或者有另一种方式：

String sql = "abc"; String s2 = new String(sql.getBytes("GBK"), "ISO8859-1");

这个如何解释？不能直接理解为将GBK转为ISO8859-1。而是应该理解为字符串sql用GBK解码还原为原始字节数组，再用ISO8859-1解码成正确的字符串。

 

3.      数据库编码格式

这个又复杂了一点，就谈Oracle的字符集，分成服务端和客户端。

服务端上，us7ascii是Oracle最早支持的编码方案，是单字节编码的。现在为了支持国际化，一般都采用unicode编码了。

客户端上，是通过NLS_LANG指定编码方式的，任何发自或发往客户端的数据都是用客户端定义的字符集编码。

 

二：实战

       好，现在回到我们的问题：

1.    为什么数据库编码为us7ascii时，我们用dbunit插数据会出现乱码？

因为：1. 我们的xml数据文件编码是UTF-8：       <?xml version="1.0" encoding="UTF-8"?>

2.    JVM编码默认是GBK，可能大家不同的系统会略有区别，不过应该都是Unicode双字节编码：可以通过Charset.defaultCharset()查看默认编码

3.    IM数据库服务端编码是us7ascii，客户端也要用us7ascii

首先dbunit读取utf-8的文件，默认情况下却用双字节的gbk解码，然后插入到单字节编码规范的数据库中，肯定出现乱码。

2.      如何解决？

最好是编码格式统一，当然数据库的编码格式我们不能改。我们能够改的是xml文件： <?xml version="1.0" encoding="GBK"?>

Ok，现在前两步统一编码了，现在要做的是在插入数据库之前在java代码中用对应us7ascii的编码格式做一次解码，对应的编码规范是“ISO8859-1”。这里我们Dbunit的代码要做一下改进，陈洪看看，更新一下代码。

具体代码如下：

DbUnit db = new DbUnit("oracle.jdbc.driver.OracleDriver",               "jdbc:oracle:thin:@10.2.225.81:1521:asoft", "aliim",               "aliim");        db.setSchema("ALIIM");        String path = "util//z.xml";        FileInputStream stream = new FileInputStream(path);            //用InputStreamReader的构造函数对读取的字节流做ISO8859-1的解码        InputStreamReader reader = new InputStreamReader(stream, "ISO8859-1");          FlatXmlDataSet dataSet = new FlatXmlDataSet(reader);        DatabaseOperation.INSERT.execute(db.getConnection(), dataSet);