ISO8859-1字符集中所有字符只占一个字节,8位,一个字节的编码空间为0x00-0xFF共256个字符。
ISO8859-1字符集中的部分(GBK GB2312 )或全部(UTF-8 UTF-16)字符在其他字符集中会存在,而且编码值还相同。
当把一个字符集中某个字符转换成另外一种字符集中的字符时,在转换过程中会有很大一部分字符在另一种字符集中是没有的(比如GBK繁体字符到GB2312),这时会使用另一种字符集中的问号代替这个未知字符,且编为63。但一般从多字节编码字符集(GBK GB2312 UTF-8 UTF-16)转换成单字节字符ISO8859-1时,是可以映射的,不会出现找不到可映射字符,因为每个字节的内容在ISO8859-1中都是找得到的,这就是为什么把一个 GBK、GB2312、UTF-8等编码的字符串以IS08859-1编码后,编码信息不会丢失的原因,最后还是可以还原成原来样子。
在Java里从一种字符转换成另一种字符集中的字符时,转换过程是要借助中间编码的,这个中间码就是Java语言本身所使用的编码——Unicode。现以ISO8859-1字符集中的¤字符转为GBK中的该字符为例:¤的ISO8859-1编码为A4,转换到Unicode字符集中后还是为A4(Unicode前256字个符与ISO8859-1是完全兼容的),然后由中间Unicode码映射到GBK字符集中相应字符,如果这个Unicode字符在GBK中存在,则使用对应的GBK编码,否则使用问号编码63代替,当然这一中间转换过程是由Java来帮我们实现的,最后我们的感觉就是由ISO8859-1直接转到了GBK编码。注,两种不同的编码中的相同的字符的编码不一定相同,这就是所谓的编码不兼容问题,比如说ISO8859-1字符¤的编码为A4,而映射到UTF-8后所对应的编码却为C2A4了。
从输出的附件可以看出(注,最好用记事本打开),GB2312、GBK、UTF-8字符集能兼容(兼容是指同一字符在两种不同字符集中都存在且编码还要相同)ISO8859-1的0x00-0x7F共128个字符。
ISO8859-1字符映射到GB2312、GBK字符集中后,能映射的字符这两种字符集基本上一样,只是在GBK字符集比GB2312多映射一个字符(B7·)。
ISO8859-1中编码大于0x7F的字符可全部映射到UTF-8字符,只是编码占用了两字节,但0x7F之后的字符只有一部分可以映射到GB2312、GBK字符集中。
Unicode、UTF-16编码完全兼容ISO8859-1字符集,即ISO8859-1中的字符在Unicode、UTF-16中存在,且编码完全相同。
编码大于0x7F的ISO8859-1字符,能映射到GB2312、GBK、UTF-8的都占两个字节,UTF-16就不用说了,肯定是两字节,只不过编码未变。
下面程序就是用来把ISO8859-1字符集映射到其他字符集的代码,它会把映射完后的字符分别输出到不同文件中,且无法映射(只ISO8859-1中某字符无法在其他字符集中找到)的字符不会输出到文件中。
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.UnsupportedEncodingException;
/**
* ISO8859-1与其他字符兼容性测试
* @author jzj
*/
public class ISOCharSet2OtherCharSet {
public static void main(String[] args) throws UnsupportedEncodingException {
try {
String charSet = "GBK";
toOtherCharSet(charSet);
charSet = "UTF-8";
toOtherCharSet(charSet);
charSet = "GB2312";
toOtherCharSet(charSet);
charSet = "UTF-16";
toOtherCharSet(charSet);
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
private static void toOtherCharSet(String charSet)
throws UnsupportedEncodingException, FileNotFoundException, IOException {
OutputStreamWriter osw = new OutputStreamWriter(new FileOutputStream("e:/tmp/"
+ charSet + ".txt"), charSet);
osw.write("可映射字符 ISO8859-1 -> " + charSet + "\r\n");
osw.write("\r\nISO8859-1=XX" + " " + charSet + "=XX\r\n");
StringBuffer sb = new StringBuffer();
//遍历256个ISO8859-1字符
for (int i = 0; i <= 255; i++) {
//ISO8859-1字符真实编码
byte[] b = new byte[] { (byte) i };
byte[] encodeArr = new String(b, "ISO8859-1").getBytes(charSet);
short codeShort = encodeArr[0];
/*
* 只有UTF-16才是固定4字节(前两字节为FE FF,后两个字节者是真真内容),其他编码可编码后为一个
* 字节,也可能为两个字节,且真实编码最多为两个字节。所以单字节ISO字符在其他字符集中可能为双字
* 节,如果为双字节时,取后两个字节(针对UTF-16,其他字符集最多为双字节)。
*/
if (encodeArr.length > 1) {
codeShort = (short) ((encodeArr[encodeArr.length - 2] << 8) | (encodeArr[encodeArr.length - 1] & 0x00FF));
}
String gbkEncodeHex = short2Hex(codeShort);
String isoEncodeHex = byte2Hex((byte) i);
//如果ISO字符不能转换到指定的字符集中的字符时,会以问号替换,这里不输出不能映射的字符
if (codeShort != 63 || (i == 63)) {
osw.write(isoEncodeHex + "=" + new String(b, "ISO8859-1") + " ");
osw.write(gbkEncodeHex + "=" + new String(encodeArr, charSet) + "\r\n");
}
//记录不兼容字符,即ISO8859-1中的字符在其他字符集中不存在,排除问题,因为问题肯定是兼容的
if (codeShort == 63 && i != 63) {
sb.append(isoEncodeHex);
sb.append("=");
sb.append(new String(b, "ISO8859-1"));
sb.append("\r\n");
}
}
if (sb.length() > 0) {
osw.write("\r\n不兼容字符:\r\n" + sb);
}
osw.flush();
osw.close();
}
/**
* 短整型转十六进制
* @param coding
* @return
*/
private static String short2Hex(short coding) {
return Integer.toHexString(coding & 0x00FFFF | 0xFF0000).toUpperCase().substring(
2, 6);
}
/**
* 字节型转十六进制
* @param coding
* @return
*/
private static String byte2Hex(byte coding) {
return Integer.toHexString(coding & 0x00FF | 0xFF00).toUpperCase()
.substring(2, 4);
}
}