JAVA中字符编码研究

最新推荐文章于 2023-09-08 20:17:36 发布
最新推荐文章于 2023-09-08 20:17:36 发布
阅读量929 收藏
点赞数
分类专栏： Java 文章标签： 编码 字符集 charset java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xidianliuy/article/details/51582878
版权

本文介绍字符编码转换问题。


基本概念

编码过程，字符串 strA 经过某个字符集 (charset) 编码后成二进制数据 (byte[]  binA)。 对应java 中就是： byte[] binA = strA.getBytes(charset).

解码过程，二进制数据 byte[] binA，经过字符集（charset）解码，还原成字符串strA。对应java中就是: String strA = new String(binA, charset).


字符串到字符串的还原


我们知道， strA 经过 charset1  编码成 binA， binA需要使用同样的 charset1解码才能还原出原来的strA，否则就会出现乱码。


	        String asciiStr = "ABC";
		String cnStr = "中国人";
		
		System.out.println("defaultCharset:" + Charset.defaultCharset());
		
		// 使用默认字符集编码
		byte[] asciiStrBytes = asciiStr.getBytes();
		byte[] cnStrBytes = cnStr.getBytes();

		System.out.println(asciiStr + " 编码后：" + showBytes(asciiStrBytes));
		System.out.println(cnStr + " 编码后：" + showBytes(cnStrBytes));

		// 使用默认字符集解码
		String decodedAsciiStr = new String(asciiStrBytes);
		String decodedcnStr = new String(cnStrBytes);

		System.out.println(showBytes(asciiStrBytes) + ", 解码后：'" + decodedAsciiStr + "'");
		System.out.println(showBytes(cnStrBytes) + ", 解码后：'" + decodedcnStr + "'");


在我机器上输出为： 


defaultCharset:UTF-8
ABC 编码后：01000001_01000010_01000011
中国人 编码后：11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010
01000001_01000010_01000011, 解码后：'ABC'
11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010, 解码后：'中国人'

字符串 ‘ABC’ 和‘中国人’ 经过我机器上默认的（UTF-8）编码方式，先编码，再解码。字符串解码后成功还原。


如果是用 另外的字符集 （如iso8859-1）解码 UTF-8 编码的数据，就会出现乱码：


                // 使用iso8859-1解码二进制数据
		decodedAsciiStr = new String(asciiStrBytes, "iso8859-1");
		decodedcnStr = new String(cnStrBytes, "iso8859-1");

		System.out.println(showBytes(asciiStrBytes) + ", 经过 iso8859-1 解码后：" + decodedAsciiStr);
		System.out.println(showBytes(cnStrBytes) + ", 经过 iso8859-1 解码后：" + decodedcnStr);

输出： 

01000001_01000010_01000011, 经过 iso8859-1 解码后：ABC
11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010, 经过 iso8859-1 解码后：中国人

上面 ‘ABC’ 成功还原，然而，”中国人“ 出现了乱码。这是因为 iso8859-1和 UTF-8 对ASCCII字符是兼容的，对汉字则不兼容。


二进制数据到二进制数据的还原


现在思考一个问题：

我们知道，字符串strA 经过charset1编码后，再经过charset1解码，就能还原字符串strA；那么二进制数据 binA 经过 charset1 解码后，再经过charset1编码，能不能还原出原来的二进制数据binA呢？


看下面的代码， 代码中，先使用 iso8859-1对二进制数据 asciiStrBytes 和 cnStrBytes  解码，然后，再用iso8859-1对解码后的字符串编码成二进制数据 encodedAsciiStrBytes 和 encodedcnStrBytes，最后对比之前和之后的二进制数据。

	      // 使用iso8859-1解码二进制数据
		decodedAsciiStr = new String(asciiStrBytes, "iso8859-1");
		decodedcnStr = new String(cnStrBytes, "iso8859-1");

		System.out.println(showBytes(asciiStrBytes) + ", 经过 iso8859-1 解码后：" + decodedAsciiStr);
		System.out.println(showBytes(cnStrBytes) + ", 经过 iso8859-1 解码后：" + decodedcnStr);

		// 再使用 iso8859-1 编码经过 iso8859-1解码后的数据

		byte[] encodedAsciiStrBytes = decodedAsciiStr.getBytes("iso8859-1");
		byte[] encodedcnStrBytes = decodedcnStr.getBytes("iso8859-1");

		System.out.println("'" + decodedAsciiStr + "',经过 iso8859-1 编码后:" + showBytes(encodedAsciiStrBytes));
		System.out.println("'" + decodedcnStr + "',经过 iso8859-1 编码后:" + showBytes(encodedcnStrBytes));

		System.out.println(
				"asciiStrBytes == encodedAsciiStrBytes ? :" + Arrays.equals(asciiStrBytes, encodedAsciiStrBytes));
		System.out.println("cnStrBytes == encodedcnStrBytes ? :" + Arrays.equals(cnStrBytes, encodedcnStrBytes));


输出: 

01000001_01000010_01000011, 经过 iso8859-1 解码后：ABC
11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010, 经过 iso8859-1 解码后：中国人
'ABC',经过 iso8859-1 编码后:01000001_01000010_01000011
'中国人',经过 iso8859-1 编码后:11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010
asciiStrBytes == encodedAsciiStrBytes ? :true
cnStrBytes == encodedcnStrBytes ? :true

可见，任意二进制数据经过 iso8859-1 解码，再经过iso8859-1编码，可以还原原来的二进制数据。


那么使用GBK呢？


看下面代码，代码中先使用GBK对二进制数据解码，再使用GBK对解码后的字符串编码成二进制数据，然后对比之前之后的二进制数据。

		// 使用GBK解码二进制数据
		decodedAsciiStr = new String(asciiStrBytes, "GBK");
		decodedcnStr = new String(cnStrBytes, "GBK");

		System.out.println(showBytes(asciiStrBytes) + ", 经过 GBK 解码后：" + decodedAsciiStr);
		System.out.println(showBytes(cnStrBytes) + ", 经过 GBK 解码后：" + decodedcnStr);

		// 再使用 GBK 编码经过 GBK 解码后的数据

		encodedAsciiStrBytes = decodedAsciiStr.getBytes("gbk");
		encodedcnStrBytes = decodedcnStr.getBytes("gbk");

		System.out.println("'" + decodedAsciiStr + "',经过 GBK 编码后:" + showBytes(encodedAsciiStrBytes));
		System.out.println("'" + decodedcnStr + "',经过 GBK 编码后:" + showBytes(encodedcnStrBytes));

		System.out.println(
				"asciiStrBytes == encodedAsciiStrBytes ? :" + Arrays.equals(asciiStrBytes, encodedAsciiStrBytes));
		System.out.println("cnStrBytes == encodedcnStrBytes ? :" + Arrays.equals(cnStrBytes, encodedcnStrBytes));

输出： 

01000001_01000010_01000011, 经过 GBK 解码后：ABC
11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010, 经过 GBK 解码后：涓浗浜�
'ABC',经过 GBK 编码后:01000001_01000010_01000011
'涓浗浜�',经过 GBK 编码后:11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_00111111
asciiStrBytes == encodedAsciiStrBytes ? :true
cnStrBytes == encodedcnStrBytes ? :false

从输出可以看出，对于二进制数据 01000001_01000010_01000011，通过GBK解码再编码，成功还原了。

但是对于另外一个二进制数据：11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010，通过GBK解码再编码得到了如下二进制数据：

11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_00111111

不能还原。


可见，任意二进制数据经过 GBK 解码，再经过GBK编码，不能还原原来的二进制数据。

结论： 

字符串strA 经过charset1编码后，再经过charset1解码，就能还原字符串strA；

二进制数据 binA 经过iso8859-1（单字节编码方式） 解码后，再经过iso8859-1编码，能还原出二进制数据binA.

二进制数据 binA 经过像GBK这样的多字节编码方式解码后，再经过相同的字符集编码，不能还原出二进制数据binA.

所以，如果我们在网络上，通过输入流获得文本的二进制数据时，然而又不知道它的编码信息，或者知道它的编码信息但是本地系统不支持（如数据库不支持），可以是使用iso8859-1将其解码成字符串，存入本地系统（文件，或者数据库），这样原始的二进制信息不会丢失，待以后能处理它的字符编码时再处理。



完整代码：

package io;

import java.nio.charset.Charset;
import java.util.Arrays;

public class EncodeDemo {

	public static void main(String[] args) throws Exception {
		String asciiStr = "ABC";
		String cnStr = "中国人";
		
		System.out.println("defaultCharset:" + Charset.defaultCharset());
		
		// 使用默认字符集编码
		byte[] asciiStrBytes = asciiStr.getBytes();
		byte[] cnStrBytes = cnStr.getBytes();

		System.out.println(asciiStr + " 编码后：" + showBytes(asciiStrBytes));
		System.out.println(cnStr + " 编码后：" + showBytes(cnStrBytes));

		// 使用默认字符集解码
		String decodedAsciiStr = new String(asciiStrBytes);
		String decodedcnStr = new String(cnStrBytes);

		System.out.println(showBytes(asciiStrBytes) + ", 解码后：'" + decodedAsciiStr + "'");
		System.out.println(showBytes(cnStrBytes) + ", 解码后：'" + decodedcnStr + "'");

		// 使用iso8859-1解码二进制数据
		decodedAsciiStr = new String(asciiStrBytes, "iso8859-1");
		decodedcnStr = new String(cnStrBytes, "iso8859-1");

		System.out.println(showBytes(asciiStrBytes) + ", 经过 iso8859-1 解码后：" + decodedAsciiStr);
		System.out.println(showBytes(cnStrBytes) + ", 经过 iso8859-1 解码后：" + decodedcnStr);

		// 再使用 iso8859-1 编码经过 iso8859-1解码后的数据

		byte[] encodedAsciiStrBytes = decodedAsciiStr.getBytes("iso8859-1");
		byte[] encodedcnStrBytes = decodedcnStr.getBytes("iso8859-1");

		System.out.println("'" + decodedAsciiStr + "',经过 iso8859-1 编码后:" + showBytes(encodedAsciiStrBytes));
		System.out.println("'" + decodedcnStr + "',经过 iso8859-1 编码后:" + showBytes(encodedcnStrBytes));

		System.out.println(
				"asciiStrBytes == encodedAsciiStrBytes ? :" + Arrays.equals(asciiStrBytes, encodedAsciiStrBytes));
		System.out.println("cnStrBytes == encodedcnStrBytes ? :" + Arrays.equals(cnStrBytes, encodedcnStrBytes));

		// 使用GBK解码二进制数据
		decodedAsciiStr = new String(asciiStrBytes, "GBK");
		decodedcnStr = new String(cnStrBytes, "GBK");

		System.out.println(showBytes(asciiStrBytes) + ", 经过 GBK 解码后：" + decodedAsciiStr);
		System.out.println(showBytes(cnStrBytes) + ", 经过 GBK 解码后：" + decodedcnStr);

		// 再使用 GBK 编码经过 GBK 解码后的数据

		encodedAsciiStrBytes = decodedAsciiStr.getBytes("gbk");
		encodedcnStrBytes = decodedcnStr.getBytes("gbk");

		System.out.println("'" + decodedAsciiStr + "',经过 GBK 编码后:" + showBytes(encodedAsciiStrBytes));
		System.out.println("'" + decodedcnStr + "',经过 GBK 编码后:" + showBytes(encodedcnStrBytes));

		System.out.println(
				"asciiStrBytes == encodedAsciiStrBytes ? :" + Arrays.equals(asciiStrBytes, encodedAsciiStrBytes));
		System.out.println("cnStrBytes == encodedcnStrBytes ? :" + Arrays.equals(cnStrBytes, encodedcnStrBytes));

	}

	public static String showBytes(byte[] bytes) {
		StringBuilder sb = new StringBuilder();
		for (byte b : bytes) {
			String tmpBin = "00000000" + Integer.toBinaryString(Byte.toUnsignedInt(b));
			sb.append(tmpBin.substring(tmpBin.length() - 8, tmpBin.length())).append("_");
		}
		sb.deleteCharAt(sb.length() - 1);
		return sb.toString();
	}
	
}


完整输出：

defaultCharset:UTF-8
ABC 编码后：01000001_01000010_01000011
中国人 编码后：11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010
01000001_01000010_01000011, 解码后：'ABC'
11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010, 解码后：'中国人'
01000001_01000010_01000011, 经过 iso8859-1 解码后：ABC
11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010, 经过 iso8859-1 解码后：中国人
'ABC',经过 iso8859-1 编码后:01000001_01000010_01000011
'中国人',经过 iso8859-1 编码后:11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010
asciiStrBytes == encodedAsciiStrBytes ? :true
cnStrBytes == encodedcnStrBytes ? :true
01000001_01000010_01000011, 经过 GBK 解码后：ABC
11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_10111010, 经过 GBK 解码后：涓浗浜�
'ABC',经过 GBK 编码后:01000001_01000010_01000011
'涓浗浜�',经过 GBK 编码后:11100100_10111000_10101101_11100101_10011011_10111101_11100100_10111010_00111111
asciiStrBytes == encodedAsciiStrBytes ? :true
cnStrBytes == encodedcnStrBytes ? :false


 

xd大勇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java中字符编码格式详解
09-02
在java应用软件中，会有多处涉及到字符集编码，有些地方需要进行正确的设置，有些地方需要进行一定程度的处理。本文主要给大家讲解java中字符的编码格式等相关问题
什么是编码，什么是解码。原理解读
toyijiu的专栏
05-13 8296
原文：http://www.cnblogs.com/luguo3000/p/3592562.html 编码问题一直都伴随着程序猿从不间断，刚开始学编程的时候好多次遇到编码问题，解 决了文件读取的编码问题，又遇到了网络编码问题，解决了网络编码问题又遇到了数据库编码问题。总结一下无非就是编码原理没搞清楚，希望本文能从原理上让菜 鸟们理解编码，遇到问题可以从原理上搞定编码。 一.编码 人类先有了自己的语言，交流了若干个世纪，然后出现了计算机。可惜计算机只认0和1，人类只能认文字，双方都不能妥协，那就必须要有一个
常见的几种编码方式
byf0521hlyp的博客
05-18 6万+
字符常见的几种编码方式2013年12月05日 11:19:32阅读数：45159 无论在是在编辑文本文件的时候，还是在制作网页的时候，总会遇到文本编码方式的问题。如果处理不当，就会出现乱码的问题。因此，有必要对文本的编码方式做一个详尽的了解。常见的一些字符编码方式无非有：Unicode、ASCII、GBK...
ASCII码、Unicode码、UTF-8编码
zyz00000000的博客
08-26 2566
标准ASCII 码也叫基础ASCII码，使用7 位二进制数（剩下的1位二进制为0）来表示所有的大写和小写字母，数字0 到9、标点符号，以及在美式英语中使用的特殊控制字符[1]。 其中： 0～31及127(共33个)是控制字符或通信专用字符（其余为可显示字符），如控制符：LF（换行）、CR（回车）、FF（换页）、DEL（删除）、BS（退格)、BEL（响铃）等；通信专用字符：SOH（文头）、EOT（文尾）、ACK（确认）等；ASCII值为8、9、10 和13 分别转换为退格、制表、换行和回车字符。它们...
计算机编程中的编码是什么？
最新发布
wuwuFQ的博客
09-08 630
编码是信息从一种形式或格式转换为另一种形式的过程，也称为计算机编程语言的代码，简称编码。用预先规定的方法将文字、数字或其它对象编成数码，或将信息、数据转换成规定的电脉冲信号。编码在电子计算机、电视、遥控和通讯等方面广泛使用。编码是信息从一种形式或格式转换为另一种形式的过程。解码，是编码的逆过程。—百度百科。
HTML特殊字符的html、js、css写法汇总
◆gHOST◇的专栏
09-12 1万+
⇠  箭头类 符号 UNICODE 符号 UNICODE HTML JS CSS HTML JS CSS ⇠ &#8672 \u21E0 \21E0 ⇢ &#8674 \u21E2 \21E2 ⇡ &#8673 \u21E1 \21
一些常见的编码
weixin_44300286的博客
08-21 4063
前言： 学了那么久的编码，之前一直都没有时间整理，现在来总结一下。 1、base家族 1.1、base16 就是16进制，编码内容只有数字0-9，和大写英文字母A-F 1.2、base32 编码内容只有大写英文字母A-Z，和数字234567 1.3、base64 编码内容主要有大写英文字母A-Z，小写英文字母a-z，数字0-9，+和/ 2、凯撒密码 凯撒密码主要通过偏移来实现加密，偏移量是几，密...
Unicdoe【真正的完整码表】对照表（一）
热门推荐
郭晓东的专栏
06-07 63万+
真正完整的Unicode码表，其中CJK = Chinese-Japanese-Korean  下面列举了一些相关的索引。查看完整索引到：http://blog.csdn.net/xjgprs/article/details/5780574 2E80-2EFF：CJK 部首补充 (CJK Radicals Supplement)  2F00-2FDF：康熙字典部首 (Kangxi Ra
UniCode编码表
weixin_30654419的博客
08-20 5924
Unicode编码则是采用双字节16位来进行编号，可编65536字符，基本上包含了世界上所有的语言字符，它也就成为了全世界一种通用的编码，而且用十六进制4位表示一个编码，非常简结直观，为大多数开发者所接受，特别是十六进制编码后，可以解决汉字在js再编码过程中出现乱码问题，提高解释速度，我们建议在js脚本中使用十六进制unicode编码。 UniCode汉字转换，网上很多，但相对比较好使的比较少，...
带圈数字符号0-100和unicode编码
Castlehe的博客
01-05 4万+
???? （这个是带圈的0，浏览器显示字符和word显示字符会有所差异） ①②③④⑤⑥⑦⑧⑨⑩ ⑪⑫⑬⑭⑮⑯⑰⑱⑲⑳ ㉑㉒㉓㉔㉕㉖㉗㉘㉙㉚ ㉛㉜㉝㉞㉟㊱㊲㊳㊴㊵ ㊶㊷㊸㊹㊺㊻㊼㊽㊾㊿ 参考：Unicode Circled Numbers 一开始也是想直接找到0-100的带圈数字，但是感谢百度问答-带圈数字。激发了我这个伪程序员的热情。 另，发现word里使用带圈数字复制到网页中，会变成这样○51 然后就继续寻找。感谢unicode组织的文档，点击这里 大意就是： 带圈字符0的unicode编码是
ASC II 码 对照表
03-03 4508
  ASCII码对照表 ASCII码 键盘
java文件字符编码集判断依赖.zip
04-23
通用的文件字符编码集判断需要借助第三方包cpdetector.jar 使用Cpdetector jar包检测文件编码需要依赖antlr-2.7.7.jar、chardet-1.0.jar、jargs-1.0.jar三个jar包 本下载资源一站式全包含，并附带亲测有效的片段...
JAVA中的字符编码操作
12-22
　在编写JAVA源文件的时候要指定源文件的编码，这里是指源文件的文本以什么编码保存为操作系统中的文件。 　JAVAC编译的时候要把源文件编译成class文件，先要读取源文件，这时候要以一种编码来解码读到的 　...
JAVA及相关字符集编码问题研究分享
09-04
对于JAVA学习，或多或少都会遇到这样的问题：编码基本知识，java，系统软件，url，工具软件等
Java中的字符编码问题处理心得总结
09-02
Java中的String类默认是Unicode编码,大家平常所说的UTF-8就是使用最广的一种unicode的实现方式,以下我们还是来看一下Java中的字符编码问题处理心得总结:
Java中自带的Logger使用
刘勇的专栏
05-31 2万+
log1 = log2 在Java中，自带了一个 java.util.logging.Logger， 由于有log4j的存在，这个再带的logger貌似使用比较少。下面就简单接收一下，这个logger的使用方法。 首先看代码， 定义一个 LogUtil 用来返回一个自定义的log class LogUtil { public static Logger getLogger()
Java中write(int)和writeInt(int)的区别，writeBytes(String) 和writeChars(String) 区别
刘勇的专栏
06-03 1万+
本文介绍 Java DataOutputStream 中 write(int)和writeInt(int)的区别，writeBytes(String) 和writeChars(String) 的区别，并介绍 write(string.getBytes()) 与字符编码的基本知识。 write(int)， writeInt(int) 的区别 在java DataOutputStream 中，定义
Java NIO编写Socket服务器的一个例子
刘勇的专栏
06-08 1万+
Java中编写Socket服务器，通常有一下几种模式： 1. 一个链接一个线程；优点：程序编写简单； 缺点：如果链接非常多，分批的线程会非常多，机器可能资源耗尽而崩溃。 2.把每一个新链接，交接给一个固定数量的连接池；优点：程序编写相对简单，可以处理大量的链接。确定：线程的开销非常大，链接很多的情况，排队现象会比较严重。 3. 使用Java中NIO，用异步IO方式处理。这种模式，可以用一个线
Java编写一个死锁的程序
刘勇的专栏
06-02 7230
死锁是在多线程编程中常常遇到的问题，现在用java编写一个简单的死锁程序。 程序在main()方法中启动2个线程，“线程-A”和“线程-B”。 线程-A 先拿到 lockA，再寻求拿到 lockB；线程-B 先拿到locB，再需求拿到lockA，如下图，于是变成循环等待，造成死锁。 用java代码如下： public class DeadLockDemo { public sta
java 中字符编码集的枚举
07-12
Java中字符编码集的枚举是通过`java.nio.charset.Charset`类来表示的。这个类提供了一些预定义的常量，代表了常见的字符编码集。以下是一些常用的字符编码集枚举常量： 1. UTF-8: Unicode转换格式，可变长度编码，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值