ISO8859-1字符集与其他字符集兼容性测试

ISO8859-1字符集中所有字符只占一个字节，8位，一个字节的编码空间为0x00-0xFF共256个字符。

 

ISO8859-1字符集中的部分(GBK GB2312 )或全部(UTF-8 UTF-16)字符在其他字符集中会存在，而且编码值还相同。

 

当把一个字符集中某个字符转换成另外一种字符集中的字符时，在转换过程中会有很大一部分字符在另一种字符集中是没有的(比如GBK繁体字符到GB2312)，这时会使用另一种字符集中的问号代替这个未知字符，且编为63。但一般从多字节编码字符集(GBK GB2312 UTF-8 UTF-16)转换成单字节字符ISO8859-1时，是可以映射的，不会出现找不到可映射字符，因为每个字节的内容在ISO8859-1中都是找得到的，这就是为什么把一个 GBK、GB2312、UTF-8等编码的字符串以IS08859-1编码后，编码信息不会丢失的原因，最后还是可以还原成原来样子。

 

在Java里从一种字符转换成另一种字符集中的字符时，转换过程是要借助中间编码的，这个中间码就是Java语言本身所使用的编码——Unicode。现以ISO8859-1字符集中的¤字符转为GBK中的该字符为例：¤的ISO8859-1编码为A4，转换到Unicode字符集中后还是为A4(Unicode前256字个符与ISO8859-1是完全兼容的)，然后由中间Unicode码映射到GBK字符集中相应字符，如果这个Unicode字符在GBK中存在，则使用对应的GBK编码，否则使用问号编码63代替，当然这一中间转换过程是由Java来帮我们实现的，最后我们的感觉就是由ISO8859-1直接转到了GBK编码。注，两种不同的编码中的相同的字符的编码不一定相同，这就是所谓的编码不兼容问题，比如说ISO8859-1字符¤的编码为A4，而映射到UTF-8后所对应的编码却为C2A4了。

 

从输出的附件可以看出（注，最好用记事本打开），GB2312、GBK、UTF-8字符集能兼容（兼容是指同一字符在两种不同字符集中都存在且编码还要相同）ISO8859-1的0x00-0x7F共128个字符。

 

ISO8859-1字符映射到GB2312、GBK字符集中后，能映射的字符这两种字符集基本上一样，只是在GBK字符集比GB2312多映射一个字符（B7·）。

 

ISO8859-1中编码大于0x7F的字符可全部映射到UTF-8字符，只是编码占用了两字节，但0x7F之后的字符只有一部分可以映射到GB2312、GBK字符集中。

 

Unicode、UTF-16编码完全兼容ISO8859-1字符集，即ISO8859-1中的字符在Unicode、UTF-16中存在，且编码完全相同。

 

编码大于0x7F的ISO8859-1字符，能映射到GB2312、GBK、UTF-8的都占两个字节，UTF-16就不用说了，肯定是两字节，只不过编码未变。

 

下面程序就是用来把ISO8859-1字符集映射到其他字符集的代码，它会把映射完后的字符分别输出到不同文件中，且无法映射（只ISO8859-1中某字符无法在其他字符集中找到）的字符不会输出到文件中。

 

import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.UnsupportedEncodingException;

/**
 * ISO8859-1与其他字符兼容性测试
 * @author jzj
 */
public class ISOCharSet2OtherCharSet {
	public static void main(String[] args) throws UnsupportedEncodingException {
		try {
			String charSet = "GBK";
			toOtherCharSet(charSet);
			charSet = "UTF-8";

			toOtherCharSet(charSet);
			charSet = "GB2312";
			toOtherCharSet(charSet);

			charSet = "UTF-16";
			toOtherCharSet(charSet);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	private static void toOtherCharSet(String charSet)
			throws UnsupportedEncodingException, FileNotFoundException, IOException {
		OutputStreamWriter osw = new OutputStreamWriter(new FileOutputStream("e:/tmp/"
				+ charSet + ".txt"), charSet);
		osw.write("可映射字符 ISO8859-1 -> " + charSet + "\r\n");
		osw.write("\r\nISO8859-1=XX" + " " + charSet + "=XX\r\n");

		StringBuffer sb = new StringBuffer();
		//遍历256个ISO8859-1字符
		for (int i = 0; i <= 255; i++) {
			//ISO8859-1字符真实编码
			byte[] b = new byte[] { (byte) i };

			byte[] encodeArr = new String(b, "ISO8859-1").getBytes(charSet);
			short codeShort = encodeArr[0];

			/*
			 * 只有UTF-16才是固定4字节（前两字节为FE FF，后两个字节者是真真内容），其他编码可编码后为一个
			 * 字节，也可能为两个字节，且真实编码最多为两个字节。所以单字节ISO字符在其他字符集中可能为双字
			 * 节，如果为双字节时，取后两个字节（针对UTF-16，其他字符集最多为双字节）。
			 */
			if (encodeArr.length > 1) {
				codeShort = (short) ((encodeArr[encodeArr.length - 2] << 8) | (encodeArr[encodeArr.length - 1] & 0x00FF));
			}
			String gbkEncodeHex = short2Hex(codeShort);
			String isoEncodeHex = byte2Hex((byte) i);

			//如果ISO字符不能转换到指定的字符集中的字符时，会以问号替换，这里不输出不能映射的字符
			if (codeShort != 63 || (i == 63)) {
				osw.write(isoEncodeHex + "=" + new String(b, "ISO8859-1") + " ");
				osw.write(gbkEncodeHex + "=" + new String(encodeArr, charSet) + "\r\n");
			}
			//记录不兼容字符，即ISO8859-1中的字符在其他字符集中不存在，排除问题，因为问题肯定是兼容的
			if (codeShort == 63 && i != 63) {
				sb.append(isoEncodeHex);
				sb.append("=");
				sb.append(new String(b, "ISO8859-1"));
				sb.append("\r\n");
			}
		}
		if (sb.length() > 0) {
			osw.write("\r\n不兼容字符:\r\n" + sb);
		}
		osw.flush();
		osw.close();
	}

	/**
	 * 短整型转十六进制
	 * @param coding
	 * @return
	 */
	private static String short2Hex(short coding) {
		return Integer.toHexString(coding & 0x00FFFF | 0xFF0000).toUpperCase().substring(
				2, 6);
	}

	/**
	 * 字节型转十六进制
	 * @param coding
	 * @return
	 */
	private static String byte2Hex(byte coding) {
		return Integer.toHexString(coding & 0x00FF | 0xFF00).toUpperCase()
				.substring(2, 4);
	}
}