说一说Java的native2ascii中的encoding

     如果大家处理过多语言资源,那么对JDK这个自带的native2ascii肯定不会陌生,它能够帮我们把不同的编码转化成统一的unicode编码,来实现国际化。

    一般我们都这么用,假设我们有这么一个文件zh.txt,其内容只有这么一行:


    

    然后我们使用native2ascii来将其内容转成unicode编码:

 

    

 

    很简单,但是你考虑过zh.txt文件的编码了吗?如果这个zh.txt文件是别人提供给你的,可能里面是采用了别的编码,那么如果仅仅是通过简单的native2ascii zh.txt是不可以的。

 

    很庆幸,native2ascii这个工具本身提供了一个encoding选项,但是,这个encoding选项是代表什么意思呢?网上大多数人都认为,这个是指生成的目的文件的编码,如,

 

    

 

    则表示将zh.txt转成ISO 8859-1编码,真的是这样的吗?

 

    还有一些人认为,这个encoding选项所指的是,源文件即zh.txt的编码格式,这个解释有点贴近,但仍不让我满意,这个encoding选项指的应该是native2ascii工具读取源文件zh.txt所采用的编码方式,如对于上面的iso-8859-1的例子,则表示native2ascii工具将采用iso-8859-1编码格式来读取源文件zh.txt,并将其内容转化成unicode编码格式。这样有什么用呢?这个就像我前面说的,可能这个源文件zh.txt可能是别人在他自己的机器上编写并提供给你的,要知道linux上默认的编码格式是ISO 8859-1,而window上一般是GBK(对于中文系统),如果我们用GBK的编码格式来读取ISO 8859-1编码的内容,可想而知,会发生什么样的错误。

 

   这个也就是下面两个不同的native2ascii使用都有一样的输出的原因:

 

   

 

   这里没有指定encoding选项,则采用操作系统默认的编码格式来读取解析zh.txt文件(这里默认是GBK)

 

   

 

   这里明确指定了GBK encoding选项,可以看到跟上面的输出一致。

 

   最后再让我们以代码来验证下以上的说法:

   还是zh.txt文件,让我们以utf-8的编码来读取它,

 

   

 

   可以看到输出为\u04ac\ufffd\ufffd,

 

   如果我们是通过代码来以utf-8的编码来读取源文件再转成unicode,会不会结果也是\u04ac\ufffd\ufffd呢?

 

    

BufferedReader br = new BufferedReader(new InputStreamReader(
				new FileInputStream(new File(
						"C:\\Documents and Settings\\yeson\\zh.txt")), "utf-8"));
		String line = null;
		while ((line = br.readLine()) != null) {
			for (char c : line.toCharArray())
				System.out.println((byte) c);
		}

		System.out.println();//new line
		
		char[] utf8 = new char[] { '\u04ac', '\ufffd', '\ufffd' };
		for (char c : utf8)
			System.out.println((byte)c);
 

   输出:


   

 

   可以看到,实际上是一样,java中的char本身就是unicode.

 

 

   而如果-encoding和-reverse选项并存,则这里的encoding则表示将以什么样的编码格式写入文件,如:   


   

 

   这个表示将转换后的文件以utf8的编码格式写入文件utf8.txt.

 

 

 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值