JAVA字符的编码

转载 2007年09月24日 18:58:00
 一、概要
在JAVA应用程序特别是基于WEB的程序中,经常遇到字符的编码问题。为了防止出现乱码,首先需要了解JAVA是如何处理字符的,这样就可以有目的地在输入/输出环节中增加必要的转码。其次,由于各种服务器有不同的处理方式,还需要多做试验,确保使用中不出现乱码。
二、基本概念
2.1 JAVA中字符的表达
JAVA中有char、byte、String这几个概念。char 指的是一个UNICODE字符,为16位的整数。byte 是字节,字符串在网络传输或存储前需要转换为byte数组。在从网络接收或从存储设备读取后需要将byte数组转换成String。String是字符串,可以看成是由char组成的数组。String 和 char 为内存形式,byte是网络传输或存储的序列化形式。
 举例:

String ying = “英”;
char ying = ying.charAt(0);
String yingHex = Integer.toHexString(ying);
82 F1  
byte yingGBBytes = ying.getBytes(“GBK”);
GB编码的字节数值
D3 A2

2.2 编码方式的简介
 String序列化成byte数组或反序列化时需要选择正确的编码方式。如果编码方式不正确,就会得到一些0x3F的值。常用的字符编码方式有ISO8859_1、GB2312、GBK、UTF-8/UTF-16/UTF-32。
ISO8859_1用来编码拉丁文,它由单字节(0-255)组成。
 GB2312、GBK用来编码简体中文,它有单字节和双字节混合组成。最高位为1的字节和下一个字节构成一个汉字,最高位为0的字节是ASCII码。
UTF-8/UTF-16/UTF-32是国际标准UNICODE的编码方式。 用得最多的是UTF-8,主要是因为它在对拉丁文编码时节约空间。

UNICODE值 UTF-8编码
U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF:  110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF:  1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF:  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF:  111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF:  1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

三、J2SE中相关的函数
String str =”英”;
 //取得GB2312编码的字节
byte[] bytesGB2312 = str.getBytes(“GB2312”);

//取得平台缺省编码的字节(solaris为ISO8859_1,windows为GB2312)
byte[] bytesDefault = str.getBytes();

//用指定的编码将字节转换成字符串
 String newStrGB = new String(bytesGB2312, “GB2312”);
 
//用平台缺省的编码将字节转换成字符串(solaris为ISO8859_1,windows为GB2312)
 String newStrDefault = new String(bytesDefault);

 //用指定的编码从字节流里面读取字符
InputStream in = xxx;
InputStreamReader reader = InputStreamReader( in, “GB2312”);
char aChar = reader.read();
四、JSP、数据库的编码
4.1 JSP中的编码
(1) 静态声明:
CHARSET有两个作用:
JSP文件的编码方式:在读取JSP文件、生成JAVA类时,源JSP文件中汉字的编码
JSP输出流的编码方式:在执行JSP时,往response流里面写入数据的编码方式
(2) 动态改变:在往response流里面写数据前可以调用response.setContentType(),设定正确的编码类型。
(3) 在TOMCAT中,由Request.getParameter() 得到的参数,编码方式都是ISO8859_1。所以如果在浏览器输入框内输入一个汉字“英”,在服务器端就得到一个ISO8859_1编码的(0x00,0xD3,0x00,0xA2)。所以通常在接收参数时转码:
String wrongStr = response.getParameter(“name”);
String correctStr = new String(wrongStr.getBytes(“ISO8859_1”),”GB2312”);
在最新的SERVLET规范里面,也可以在获取参数之前执行如下代码:
request.setCharacterEncoding(“GB2312”);

4.2 数据库的编码
(1) 数据库使用UTF-16
如果String中是UNICODE字符,写入读出时不需要转码
(2) 数据库使用ISO8859_1
如果String中是UNICODE字符,写入读出时需要转码
写入:String newStr = new String(oldStr.getByte(“GB2312”), “ISO8859_1”);
读出:String newStr = new String(oldStr.getByte(“ISO8859_1”),”GB2312”);
五、源文件的编码
5.1 资源文件
资源文件的编码方式和编辑平台相关。在WINDOWS平台下编写的资源文件,以GB2312方式编码。在编译时需要转码,以确保在各个平台上的正确性:
native2ascii –encoding GB2312 source.properties
这样从资源文件中读出的就是正确的UNICODE字符串。
5.2 源文件
源文件的编码方式和编辑平台相关。在WINDOWS平台下开发的源文件,以GB2312方式编码。在编译的时候,需要指定源文件的编码方式:
javac –encoding GB2312
 JAVA编译后生成的字节文件的编码为UTF-8。
①最新版TOMCAT4.1.18支持request.setCharacterEncoding(String enc)
②资源文件转码成company.name=/u82f1/u65af/u514b
③如果数据库使用utf-16则不需要这部分转码
④页面上应有
转码ⅰ:
String s = new String
(request.getParameter(“name”).getBytes(“ISO8859_1”),”GB2312”);
转码ⅱ:
String s = new String(name.getBytes(“GB2312”),”ISO8859_1”);
转码ⅲ:
String s = new String(name.getBytes(“ISO8859_1”),” GB2312”);

java在命令行中编译代码出现 错误: 编码GBK的不可映射字符

在编译的时候,如果我们没有用-encoding参数指定我们的JAVA源程序的编码格式,则javac.exe会获得我们操作系统默认采用的编码格式。 JDK根据操作系统的file.encoding参数(...
  • TAB_YLS
  • TAB_YLS
  • 2017年06月26日 18:00
  • 537

解决 java “错误:编码GBK 的不可映射字符”

public class HelloWorldwww{ public static void main(String args[]){ int num...
  • l1028386804
  • l1028386804
  • 2015年06月21日 18:23
  • 38232

警告:编码 UTF8 的不可映射字符

今天接手一个公司的老项目,刚从CVS上check out后用Ant Build的时候总是报“警告:“编码 UTF8 的不可映射字符”。看了下都是代码中的中文注释,因为我的Eclipse默认采用UTF-...
  • gxlstone
  • gxlstone
  • 2013年09月01日 10:53
  • 5114

JAVA 编译出现编码GBK的不可映射字符(使用notepad++编辑器)

原因:由于JDK是国际版的,在编译的时候,如果我们没有用-encoding参数指定我们的JAVA源程序的编码格式,则javac.exe首先获得我们操作系统默认采用的编码格式。在编译java程序时,若我...
  • Thousa_Ho
  • Thousa_Ho
  • 2017年05月26日 10:58
  • 2075

IntelliJ IDEA 编译时报错:“编码UTF8的不可映射字符”和"未结束的字符串字面值"

解决办法:  Setting->File Encodings->Project Encoding选择utf-8,Default encoding for properties files 也选择...
  • zsg88
  • zsg88
  • 2017年03月09日 12:32
  • 2840

js和java中字符和unicode编码的转化

一般来说,良好的编程习惯要求在代码里尽量不出现中文,一个是国际化问题,即同一份代码可能要满足不同语言的显示,还一个就是可能产生乱码问题,不同的程序员用不同的IDE导入这份代码可能使用了不同的默认编码。...
  • starandsea
  • starandsea
  • 2016年07月07日 19:33
  • 1831

IntelliJ IDEA 编译时报错:“编码GBK的不可映射字符”和"未结束的字符串字面值"

IntelliJ IDEA 9 编译时报错:“编码GBK的不可映射字符”和"未结束的字符串字面值" 解决办法:  Setting->File Encodings->IDE En...
  • feierky
  • feierky
  • 2014年05月09日 11:17
  • 2553

Java中出现“错误: 编码GBK的不可映射字符”的解决方法

字符串出错的解决方案~
  • lasolmi
  • lasolmi
  • 2014年10月17日 11:21
  • 1839

Java警告:编码 GBK 的不可映射字符(使用Editplus编辑器)

Java警告:编码GBK的不可映射字符(使用Ediplus编辑器) 代码如下: public class ByteTest{ public static void main (...
  • xiaowanggedege
  • xiaowanggedege
  • 2013年04月17日 00:16
  • 4842

帮你理清Java中字符与字节的编码关系

在 GB 2312 编码或 GBK 编码中,一个英文字母字符存储需要1个字节,一个汉字字符存储需要2个字节。 在UTF-8编码中,一个英文字母字符存储需要1个字节,一个汉字字符储存需要3到4个字节。...
  • mmc_maodun
  • mmc_maodun
  • 2013年11月06日 08:14
  • 14663
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:JAVA字符的编码
举报原因:
原因补充:

(最多只允许输入30个字)