java编码处理:(java在内存中使用的是uniocode编码)
一、编码基本知识:
1、iso8859-1 单字节编码 范围0-255 优点:和计算机最基础的表示单位一致
2、GBK/GB2312 双字节编码 和iso8859-1兼容
3、unicode 双字节(也有四字节) 和iso8859-1不兼容,也不兼容任何编码
4、UTF 变长,一般英文字母用一个字节表示,汉字用三个字节表示 和iso8859-1兼容 最通用的编码
二、java处理
1、getBytes(charset)举例
程序:debug以下程序,可以发现注意字符串在java内存中总是按unicode编码存储的。比如"中文",正常情况下(即没有错误的时候)存储为"4e2d 6587",如果charset为"gbk",
则被编码为"d6d0 cec4",然后返回字节"d6 d0 ce c4"。如果charset为"utf8"则最后是"e4 b8 ad e6 96 87"。如果是"iso8859-1",则由于无法编码,最后返回 "3f 3f"(注:
"3f 3f"是两个问号)。
public class JavaCharactorTest {
public static void main(String[] args) throws UnsupportedEncodingException {
String str = "中国";
byte[] b = str.getBytes("gbk");
}
}
2、new String(charset)
这个举例可以参考我附的问答。
3、其他
可参考文章
http://www.java-cn.com/club/?action-viewnews-itemid-2012
写的很全
附:
问:
new String(str.getBytes("ISO-8859-1"),"GBK")
如题,假设str=request.getParameter("name"); name传到servlet一个中文名字
我看到很多人在碰到乱码问题时,都提示要使用new String(str.getBytes("ISO-8859-1"),"GBK");
原因是jsp页面编码设为GBK了
但我觉得就不对了:
首先,假设在jsp页面输入了一个name 小二,小二的gbk编码假设为oxaabb;现在name传到servlet,
在穿的过程中,如果用iso-8859-1传,那么该编码本身就不支持中文,将直接用两个?代替,
那么我再用new String(str.getBytes("ISO-8859-1"),"GBK")转又有什么用,还是两个?啊
请高手解析一把
答:
除了UTF-16,其它字符集定义时都重复。
比如汉字“我”,假设它的值是22530(只是假设,具体多少我没查)
而日文的“マ”的值也可能是22530(也是假设)或韩文的“찾”
在网络上传输是不能以高字节传输,因为网络底层最后只认无符号char,相当于java中的byte,所以
22530这个int要转换为字节数组,
byte[0] = (22530 >> 8)&0xFF;
byte[1] = 22530 &0xFF;
具体多少我没算,假设是byte[125,231]
这样的字节传到服务端到是表示汉字“我”还是日文的“マ”还是其它狗屁?
一般通讯协议中会告诉对字符集,比如HTTP在请求时告诉服务端:
ContentType="xxxxxxxxxx";charset="GKB";
这时服务端就知道现在接收到的[125,231]是GKB的“我”而不是其它文字。
上面是标准的通信过程。但如果有些水平很差的程序员在提交请求时没有通知服务端字符集,那服务端就没办法了。
只好按最常用的字符集来猜一个默认的。
这还不错,最要命的是写服务器的程序员水平和见识很差时,就要命了。就象写老版本的TOMCAT的程序员,他自己生在西方,以为全世界所有人都用的是26个字母加一些符号,所
以他不管客户端提交什么都按ISO-8859-1来算,结果可想而知。
没办法,谁让我们用GBK的人不会写tomcat呢,只好先把让那个差劲的程序员错误生成的String用ISO-8859-1还原成
[125,231],再重新用GKB生成String.