常见乱码产生原因以及锟斤拷的产生过程

常见乱码产生原因

名称示例特点原因
古文码浜屽紶涓夋潕鍥旇档鍏大多为不认识的古文,夹杂日韩文以GBK方式读取UTF-8编码的中文
方块码�������大部分字符为方块问号以UTF-8方式读取GBK编码的中文
符号码å¼ä¸æåçäºèµµ­èä¸大部分字符为各种符号以ISO8859-1方式读取UTF-8编码的中文
拼音码ÕÅÈýÀîËÄÍõÎåÕÔÁ大部分字符为带着声调的字母以ISO8859-1方式读取GBK编码的中文
问句码寮犱笁鏉庡洓鐜嬩簲叚鑰?基本和古文码一致,字符串为偶数时正常,长度为奇数时结尾会带上问号以GBK方式读取UTF-8编码的中文,然后又用GBK的格式再次读取
锟拷码锟斤拷锟斤拷锟斤拷基本都是锟斤拷三个字符以GBK方式读取UTF-8编码的��

方块码的产生原因

下面我们来看一下方块码具体是怎么来的
首先需要知道方块码‘�’的产生原因,由上图可知,方块码是以UTF-8方式读取GBK编码的中文,而UTF-8和GBK编码的区别在于:

  • UTF-8会将中文转化成三个字节进行存储
  • GBK会将中文转化成两个字节进行存储
代码测试
public class TestCode {

    public static void main(String[] args) {
        test_UTF8_GBK();
    }
    
   //UTF8_GBK
    static void test_UTF8_GBK(){
        try {
            byte[] GBKbyte = "张三".getBytes("GBK");
            System.out.print("张三的GBK编码:");
            for (byte b : GBKbyte) {
                System.out.print(b + " ");
            }
            String UTF8_GBKbyte = new String(GBKbyte, "UTF-8");
            System.out.println("\nUTF-8读取GBK编码:"+UTF8_GBKbyte);
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
    }
    
}
控制台打印以下信息

张三的GBK编码:-43 -59 -56 -3
UTF-8读取GBK编码:����

编码原理

"张三"在GBK中实际以-43 -59 -56 -3 进行存储,再由UTF-8读取时,由于这些码在UTF-8库中无法匹配
UTF-8字符集也有一个专门用于提示用户字符无法识别或展示的替换符号:也就是‘�’
因此,我们会看到,使用UTF-8读取GBK编码的中文时就会产生方块码

锟拷码的产生原因

由上表可知,锟拷码是由于以GBK方式读取UTF-8编码的��得到,而如果产生了方块码,就有可能会产生锟拷码

代码测试
public class TestCode {

    public static void main(String[] args) {
        test_GBK_UTF8byte();
    }

    static void test_GBK_UTF8byte() {
        try {
            byte[] UTF8byte = "����".getBytes("UTF-8");
            for (byte b : UTF8byte) {
                System.out.print(" " + b);
            }
            String GBK_UTF8byte = new String(UTF8byte, "GBK");
            System.out.println("\n" + GBK_UTF8byte);
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
    }
    
}
控制台打印以下信息

-17 -65 -67 -17 -65 -67 -17 -65 -67 -17 -65 -67
锟斤拷锟斤拷

����首先被转化成了12个字节,按照-17 -65 -67的顺序排列,因此,当使用GBK读取时,会两个两个进行解析,-17 -65 解析成锟,-67 -17 解析成斤,-65 -67解析成拷

编码原理

由于�在UTF-8编码中会被编码成-17 -65 -67三个字节,而两个方块码会产生6个字节,正好满足GBK编码中取两个字节进行解码

  • -17 -65 对应 “锟”
  • -67 -17 对应 “斤”
  • -65 -67 对应 “拷”
    因此当我们使用GBK来读取UTF-8编码的方块码时,原来的两个方块码“��”就会被GBK读取成了“锟斤拷”,如下表所示
字符UTF-8GBK
-17 -65 -67
��-17 -65 -67 -17 -65 -67
-17 -65
-67 -17
-65 -67
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值