今天终于把JAVA里一个比较头痛的问题——字符编码弄清晰了,所以写一篇文章来纪念一下,也为大家提供一点自己的心得。
众所周知,JAVA为了国际通用,用的是UNICODE来保存里面的字符。而UNICODE只是一个种字符集,字符的存储和表示要用到一定的字符编码格式,而与UNICODE对应的字符编码格式就是我们常看到的UTF-8,UTF-16等等,而UTF-8是最常用的,所以人们常常把它和UNICODE等同起来(我以前就是这样的),这在某些情况下是没有错的,但这样的理解在JAVA里就会产生一些混淆。我们用下面的程序来演示一下。
定义一个字符串
String name = "堂";
这个字符串就一个字符,把它取出来
char c_name = name.charAt(0);
JAVA里的char型是十六位的(两个字节),但是如果是用UTF-8的话可能会不只两位(UTF-8是变长存储的),那看来JAVA本身并不是用UTF-8来保存的,口说无凭,做个实验吧。
首先看看char里保存的内容
intlow=(c_name)&0xff;//取c_name的低位 inthigh=(c_name>>8)&0xff;//取c_name的高位 System.out.println(Integer.toHexString(high)+""+Integer.toHexString(low)); |
只有两个字节而已(16位),那么真正的UTF-8编码的内容是什么呢,再看看吧。
为了方便,我写了一个辅助方法printbyte,作用是把一个byte数组的每个元素按照十六进制格式打印出来,同样为了方便,我把它作为静态方法。
publicstaticvoidprintbyte(byte[]bt) { for(inti=0;i<bt.length;i++) { inthex=(int)bt[i]&0xff; System.out.print(Integer.toHexString(hex)+""); } System.out.println("length="+bt.length); } byte[]utf_8=name.getBytes("utf-8"); printbyte(utf_8); |
结果是e5 a0 82 length = 3
哇,三个字节!看来JAVA内部用的真不是UTF-8,那用的是什么呢?UTF-16?看一下便知。
byte[]utf_16=name.getBytes("utf-16"); printbyte(utf_16); |
byte[]utf_16be=name.getBytes("utf-16be"); printbyte(utf_16be); 结果出来了:5802length=2 |
哈哈,I got it!不多不少两个字节,内容也一样。果然是它。同时我在里面也看到,UNICODE的编码还有一个LE,这里的BE,LE我想应该是bigendian和littleendian吧。