字符编码以及字符联通

1. 字符编码和解码

在Java中，字符编码指的是：将字符串转换成字节数组，转换的方法是通过方法getByte()实现的，该方法可以指定编码表，也可以不指定，不指定编码表则使用默认的编码表。下面，我们将通过字符编码和解码，解决如何给字符编码以及解码。

1.1 字符编码

下面的例子，将中文字符进行编码，并指定编码表。控制台的输出结果为：

-60, -29, -70, -61, 
-28, -67, -96, -27, -91, -67, 
从输出结可以知道，GBK编码的中文字符，一个字符占两个字节。UTF-8编码的中文字符，一个字符占3个字节。

[java]  view plain  copy

1. package com.itheima.entranceExam.blog;  
2.   
3. import java.io.IOException;  
4.   
5. public class encodeTest {  
6.     public static void main(String[] args) throws IOException {  
7.   
8.         String s = "你好";  
9.         //编码：将字符串变成字节数组，指定编码表为GBK  
10.         byte[] b1 = s.getBytes("GBK");  
11.         //编码：将字符串变成字节数组，指定编码表为UTF-8  
12.         byte[] b2 = s.getBytes("UTF-8");  
13.         //遍历字节数组中的元素  
14.         for(byte b : b1) {  
15.             System.out.print(b+", ");  
16.         }  
17.         System.out.println();  
18.         //遍历字节数组中的元素  
19.         for(byte b : b2) {  
20.             System.out.print(b+", ");  
21.         }  
22.     }  
23. }  

1.2 解码

下面我们对1.1节中编码的中文字符进行解码，解码就是将字符转成的字节数组，从新转换成原来的字符。解码时可以指定编码表也可以不指定，不指定编码表则使用默认是编码表。

[java]  view plain  copy

1. package com.itheima.entranceExam.blog;  
2.   
3. import java.io.IOException;  
4.   
5. public class encodeTest {  
6.     public static void main(String[] args) throws IOException {  
7.   
8.         String s1 = "你好";  
9.         //编码，指定编码表为GBK  
10.         byte[] b1 = s1.getBytes("GBK");  
11.         //解码，指定编码表为GBK  
12.         String s2 = new String(b1, "GBK");  
13.         System.out.println(s2);//输出"你好",没有乱码  
14.     }  
15. }  

1.3 编码表不一致导致的问题

注意：当我们编码使用的编码表和解码使用的编码表不一致时，则会出现乱码。下面的例子编码时使用的编码表是UTF-8，而解码使用到编码表是GBK。将字符串"你好"使用UTF-8进行编码，解码时使用GBK，为什么输出结果是三个中文字符"浣犲ソ"？下面我们通过图片来分析：UTF-8编码中文字符串"你好"，这两个中文字符串变成6个字节的字节数组。解码时使用GBK编码表，GBK编码表将字节数组中的，每两个联系的字节数组变成一个中文字符，长度为6的字节数组就变成3个中文字符，所以下面例子的2个中文字符解码后，会出现3个中文字符。

代码：

[java]  view plain  copy

1. package com.itheima.entranceExam.blog;  
2.   
3. import java.io.IOException;  
4.   
5. public class encodeTest {  
6.     public static void main(String[] args) throws IOException {  
7.   
8.         String s1 = "你好";  
9.         //编码，指定编码表为UTF-8  
10.         byte[] b1 = s1.getBytes("UTF-8");  
11.         //解码，指定编码表为GBK  
12.         String s2 = new String(b1, "GBK");  
13.         System.out.println(s2);//输出"浣犲ソ"  
14.     }  
15. }  

1.4 解决乱码问题

当编码和解码使用的编码表不一致时，会出现乱码，出现乱码该如何解决呢？

下面的例子演示：编码时使用GBK编码表，解码时使用ISO8859-1编码表，致使出现乱码，如何解决乱码吗？

下面结合图片进行说明（代码也在下面）：

出现乱码的应用是，GBK编码表中一个中文字符对应两个字节数组数据，ISO8859-1是拉丁码表和欧洲码表，ISO8859-1编码表一个二进制的字节数组数据对应一个字符。所以两个中文字符GBK编码后，再使用ISO8859-1解码时会出现4个字符的乱码。解决该乱码的步骤是：

1. 将ISO8859-1解码后返回的字符串进行ISO8859-1编码，编码后返回字节数组。

2. 将上面的字节数组进行GBK解码，就能获得原来的中文字符了。

注意：编码使用GBK，解码使用UTF-8。为了解决乱码，二次编码如果使用UTF-8，解码使用GBK时，会出现问题，所以上面的方案不是在任何编码中都可以使用的。

代码：

[java]  view plain  copy

1. package com.itheima.entranceExam.blog;  
2.   
3. import java.io.IOException;  
4.   
5. public class encodeTest {  
6.     public static void main(String[] args) throws IOException {  
7.   
8.         String s = "你好";  
9.         //编码，使用GBK编码表  
10.         byte[] b1 = s.getBytes("GBK");  
11.         //解码，使用ISO8859-1编码表  
12.         String s1 = new String(b1,"ISO8859-1");  
13.         //下面一行输出结果为：ÄãºÃ，出现乱码，因为编码和解码使用的编码表不同  
14.         System.out.println(s1);  
15.           
16.           
17.         //下面分析如何解决乱码问题  
18.         //1. 将ISO8859-1解码获得的字符串s1，使用ISO8859-1编码表进行再编码，返回字节数组  
19.         byte[] b2 = s1.getBytes("ISO8859-1");  
20.         //2. 将字节数组使用GBK字符集进行解码  
21.         String s2 = new String(b2, "GBK");  
22.         //输出结果：你好，乱码问题解决了  
23.         System.out.println(s2);  
24.     }  
25. }  

2. 字符联通

2.1 字符联通问题

新建一个文本文件，在该文本文件中输入“联通”两个字符，保存并关闭文本文件。重新打开文本文件，发现文本文件中出现了乱码，如下图。

这是为什么呢？因为输入“联通”字符时，使用的是系统默认的中文编码表GBK，而文本文件是一个应用程序，它默认使用的是UTF-8编码，所以再次打开时会出现乱码。

所有当保存文本文件时，选择另存为UTF-8编码方式，就不会出现乱码了。

2.2 GBK和UTF-8编码识别原理

GBK编码的中文，2个字节代表一个中文。UTF-8编码的中文，3个字节代表一个中文。不论是GBK还是UTF-8，中文对应的编码都是负数，既然都是负数，那么怎么知道只读3个字节或者只读2个字节作文中文呢？

下面通过图片分析：

转换流读取方法是一次读取一个字节，两个字节变成一个中文字符。而FileReader的read方法是一次读取两个字节，返回一个中文。但是如果数据是UTF-8编码出来的数据，使用GBK解码时会出现乱码。而且在UTF-8编码表中，有可能2个字节代表一种字符，有可能3个字节代表一个中文。那如何知道读取两个字节还是3个字节呢？

其实UTF-8的编码表都添加一个标识头信息。根据该标识头信息，就知道一次读取1个字节，还是2个字节或者是3个字节。在IO包下的DataInputStream下有UTF-8标志头说明信息，下面一节讲解UTF-8的格式，来说明标志头信息的作用。

2.3 UTF-8编码格式

在IO包下找到DataInputStream，找到UTF-8修改版，就可以看到UTF-8的格式信息，如下。

一个字节代表一个字符：一个字节的8位数据中，头尾数据为0，表示该一个字节代表一个字符，如下图：

两个字节代表一个字符：第一个字节的前3位是110，第2个字节的前2位是10，说明两个字节代表一个字符，如下图：

三个字节代表一个字符：第1个字节的前4位是1110，第2个字节的前2位是10，第3个字节的前2位是10，说明三个字节代表一个字符。如下图：

2.4 分析UTF-8的编码格式以及“联通”问题产生的原因

下面我们通过代码例子，分析2.3节中的UTF-8的编码格式，并且分析2.1节中字符联通问题产生的原因。

[java]  view plain  copy

1. package com.itheima.entranceExam.blog;  
2.   
3. import java.io.IOException;  
4.   
5. public class encodeTest {  
6.     public static void main(String[] args) throws IOException {  
7.   
8.         String s = "联通";  
9.         //GBK编码  
10.         byte[] buf = s.getBytes("GBK");  
11.         //变量字节数组  
12.         for(byte b : buf) {  
13.             //&255 是为了去掉前面的数据，只保留后面8位二进制数据，因为一个字节占8为  
14.             System.out.println(Integer.toBinaryString(b&255));  
15.         }  
16.     }  
17. }  

代码输出结果为：

11000001
10101010
11001101
10101000

下面通过图片分析该输出结果的中隐含的UTF-8编码格式，已经字符联通问题原因：

分析字符联通产生的原因：

上面代码中，中文字符使用GBK编码，但是编码后的的二进制数据正好和UTF-8格式吻合：第1个字节110开头，说明两个字节代表一个字符（110打头的代表第1个字节，10打头的代表第2个字节）。所以文本编辑器把这些字符（"联通"）去查UTF-8编码表，解码成了UTF-8对应的字符，所以显示的结果会出现问题。这就是2.1节问题产生的原因。

如果在文本文件中输入中文 " 你联通 " ， 保存文本文件并关闭。再次打开后，就不会出现2.1那样的问题，因为中文 " 你 " 在编码表中对应的二进制数据不符合UTF-8的格式，所以编辑器使用GBK解码，后面的 " 联通 " 当然也使用GBK解码，所以不会出现2.1的问题：