Java字符集编码与解码

最新推荐文章于 2022-02-26 12:24:07 发布
最新推荐文章于 2022-02-26 12:24:07 发布
阅读量446 收藏
点赞数
分类专栏： 笔记 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57220071/article/details/120920646
版权

Java字符集编码与解码

字符（Character）是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。字符集（Character set）是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。计算机要准确的处理各种字符集文字，就需要进行字符编码，以便计算机能够识别和存储各种文字。

1、ASCII字符集

ASCII ((American Standard Code for Information Interchange): 美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是最通用的信息交换标准，并等同于国际标准ISO/IEC 646。ASCII第一次以规范标准的类型发表是在1967年，最后一次更新则是在1986年，到目前为止共定义了128个字符。字符集ASCII不支持中文。

import java.nio.charset.Charset;
import java.util.Arrays;

public class TestCharacterSet {
    public static void main(String[] args) {
        //ASCII字符集编码不支持中文字符，如果遇到中文字符，则用?的编码63来代替
        byte[] asciis = "我".getBytes(Charset.forName("ASCII"));
        byte[] asciis2 = "是".getBytes(Charset.forName("ASCII"));
        byte[] asciis3 = "谁".getBytes(Charset.forName("ASCII"));
        System.out.println(Arrays.toString(asciis));//[63]
        System.out.println(Arrays.toString(asciis2));//[63]
        System.out.println(Arrays.toString(asciis3));//[63]
        String ascii = new String(asciis, Charset.forName("ASCII"));
        System.out.println(ascii);//?
        //将数字强转为char类型，用的就是ASCII码
        System.out.println((char)63);//?
    }
}

2、GBK字符集

import java.nio.charset.Charset;
import java.util.Arrays;

public class TestCharacterSet {
    public static void main(String[] args) {
        //GBK字符集编码是支持中文的，一个中文字符用两个字节表示
        byte[] gbks1 = "我".getBytes(Charset.forName("GBK"));
        byte[] gbks2 = "是".getBytes(Charset.forName("GBK"));
        byte[] gbks3 = "谁".getBytes(Charset.forName("GBK"));
        System.out.println(Arrays.toString(gbks1));//[-50, -46]
        System.out.println(Arrays.toString(gbks2));//[-54, -57]
        System.out.println(Arrays.toString(gbks3));//[-53, -83]
        //解码
        String gbk1 = new String(gbks1, Charset.forName("GBK"));
        String gbk2 = new String(gbks2, Charset.forName("GBK"));
        String gbk3 = new String(gbks3, Charset.forName("GBK"));
        System.out.println(gbk1);//我
        System.out.println(gbk2);//是
        System.out.println(gbk3);//谁
    }
}

3、UTF-8字符集

import java.nio.charset.Charset;
import java.util.Arrays;

public class TestCharacterSet {
    public static void main(String[] args) {
        //UTF-8字符集编码是现在很常用的编码，一个中文字符常用三个字节表示
        Charset charset = Charset.forName("UTF-8");
        byte[] bytes1 = "我".getBytes(charset);
        byte[] bytes2 = "是".getBytes(charset);
        byte[] bytes3 = "谁".getBytes(charset);
        System.out.println(Arrays.toString(bytes1));//[-26, -120, -111]
        System.out.println(Arrays.toString(bytes2));//[-26, -104, -81]
        System.out.println(Arrays.toString(bytes3));//[-24, -80, -127]
        //解码
        String s1 = new String(bytes1, charset);
        String s2 = new String(bytes2, charset);
        String s3 = new String(bytes3, charset);
        System.out.println(s1);//我
        System.out.println(s2);//是
        System.out.println(s3);//谁
    }
}

4、编码和解码的字符集不同时

乱码且字节丢失，无法还原

import java.nio.charset.Charset;
import java.util.Arrays;

public class TestCharacterSet {
    public static void main(String[] args) {
        Charset gbk = Charset.forName("GBK");
        Charset utf_8 = Charset.forName("UTF-8");
        //用GBK字符集编码
        byte[] bytes = "我".getBytes(gbk);
        System.out.println(Arrays.toString(bytes));//[-50, -46]
        //用UTF-8字符集解码
        String s = new String(bytes, utf_8);
        System.out.println(s);//��
        //用UTF-8编码
        byte[] bytes1 = s.getBytes(utf_8);
        System.out.println(Arrays.toString(bytes1));//[-17, -65, -67, -17, -65, -67]
        //可见当utf-8无法正常解码的时候，就会用�的编码来代替
        //再用GBK解码
        String s1 = new String(bytes1,gbk);
        System.out.println(s1);//锟斤拷
    }
}

import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

public class TestCharacterSet {
    public static void main(String[] args) {
        Charset gbk = Charset.forName("GBK");
        Charset utf_8 = Charset.forName("UTF-8");
        //用GBK字符集编码
        byte[] bytes = "我是".getBytes(gbk);
        System.out.println(Arrays.toString(bytes));//[-50, -46, -54, -57]
        System.out.println(byteArrToBinary(bytes));
        //[11001110, 11010010, 11001010, 11000111]
        //用UTF-8字符集解码
        String s = new String(bytes, utf_8);
        System.out.println(s);//��
        //用UTF-8编码
        byte[] bytes1 = s.getBytes(utf_8);
        System.out.println(Arrays.toString(bytes1));
        //[-17, -65, -67, -17, -65, -67, -17, -65, -67, -17, -65, -67]
        System.out.println(byteArrToBinary(bytes1));
        //[11101111, 10111111, 10111101, 11101111, 10111111, 10111101, 
        // 11101111, 10111111, 10111101, 11101111, 10111111, 10111101]
        //可见当utf-8无法正常解码的时候，就会用�的编码来代替
        //再用GBK解码
        String s1 = new String(bytes1,gbk);
        System.out.println(s1);//锟斤拷锟斤拷
    }
    private static List byteArrToBinary(byte[] bytes){
        List<String> list = new ArrayList<>();
        int length = bytes.length;
        for (int i = 0;i<length;i++){
            String s = byteToBinary(bytes[i]);
            list.add(s);
        }
        return list;
    }

    /**
     * 字节转二进制
     */
    private static String byteToBinary(byte b){
        String s = Integer.toBinaryString(b & 0xFF);
        return s;
    }
}

乱码，无字节丢失，可以还原

import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

public class TestCharacterSet {
    public static void main(String[] args) {
        Charset gbk = Charset.forName("GBK");
        Charset utf_8 = Charset.forName("UTF-8");
        //用UTF-8字符集编码
        byte[] bytes = "我是谁".getBytes(utf_8);
        System.out.println(Arrays.toString(bytes));//[-26, -120, -111, -26, -104, -81, -24, -80, -127]
        System.out.println(byteArrToBinary(bytes));
        //[11100110, 10001000, 10010001, 11100110, 10011000, 10101111, 11101000, 10110000, 10000001]
        //用GBK字符集解码
        String s = new String(bytes, gbk);
        System.out.println(s);//鎴戞槸璋�
        //用GBK编码
        byte[] bytes1 = s.getBytes(gbk);
        System.out.println(Arrays.toString(bytes1));
        //[-26, -120, -111, -26, -104, -81, -24, -80, 63]
        System.out.println(byteArrToBinary(bytes1));
        //[11100110, 10001000, 10010001, 11100110, 10011000, 10101111, 11101000, 10110000, 111111]
        //再用UTF-8解码
        String s1 = new String(bytes1,utf_8);
        System.out.println(s1);//我是�?
        //可见在没有字节丢失的情况下，选择正确的编码之后可以还原，而最后一个字因为字节丢失，无法还原。
    }
    private static List byteArrToBinary(byte[] bytes){
        List<String> list = new ArrayList<>();
        int length = bytes.length;
        for (int i = 0;i<length;i++){
            String s = byteToBinary(bytes[i]);
            list.add(s);
        }
        return list;
    }

    /**
     * 字节转二进制
     */
    private static String byteToBinary(byte b){
        String s = Integer.toBinaryString(b & 0xFF);
        return s;
    }
}

5、UTF-8编码规则

UTF-8是一种变长字节编码方式。对于某一个字符的UTF-8编码，如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的位数，其余各字节均以10开头。UTF-8最多可用到6个字节。
如表：
1字节 0xxxxxxx
2字节 110xxxxx 10xxxxxx
3字节 1110xxxx 10xxxxxx 10xxxxxx
4字节 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5字节 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6字节 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
因此UTF-8中可以用来表示字符编码的实际位数最多有31位，即上表中x所表示的位。除去那些控制位（每字节开头的10等），这些x表示的位与UNICODE编码是一一对应的，位高低顺序也相同。
实际将UNICODE转换为UTF-8编码时应先去除高位0，然后根据所剩编码的位数决定所需最小的UTF-8编码位数。
因此那些基本ASCII字符集中的字符（UNICODE兼容ASCII）只需要一个字节的UTF-8编码（7个二进制位）便可以表示。

import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

public class TestCharacterSet {
    public static void main(String[] args) {
        Charset gbk = Charset.forName("GBK");
        Charset utf_8 = Charset.forName("UTF-8");
        //用UTF-8字符集编码
        byte[] bytes = "A".getBytes(utf_8);
        System.out.println(Arrays.toString(bytes));//[65]
        System.out.println(byteArrToBinary(bytes));
        //[1000001]
        //用GBK字符集解码
        String s = new String(bytes, gbk);
        System.out.println(s);//A
        //用GBK编码
        byte[] bytes1 = s.getBytes(gbk);
        System.out.println(Arrays.toString(bytes1));
        //[65]
        System.out.println(byteArrToBinary(bytes1));
        //[1000001]
        //再用UTF-8解码
        String s1 = new String(bytes1,utf_8);
        System.out.println(s1);//A
    }
    private static List byteArrToBinary(byte[] bytes){
        List<String> list = new ArrayList<>();
        int length = bytes.length;
        for (int i = 0;i<length;i++){
            String s = byteToBinary(bytes[i]);
            list.add(s);
        }
        return list;
    }

    /**
     * 字节转二进制
     */
    private static String byteToBinary(byte b){
        String s = Integer.toBinaryString(b & 0xFF);
        return s;
    }
}

正是由于这样的编码规则，当遇到不符合utf-8编码规则的字节的时候，则会用特殊的符号代替。而英文字符在多个字符集编码中的编码与ASCII一致，所以没有出现英文乱码的情况。

6、字节流转字符流

创建一个txt文件，名为 测试.txt ，编码设置为UTF-8。

测试一下
字节流转字符流
编码问题

在这种文件名是中文的情况下，注意Java文件的编码与该文件的编码一致，也为UTF-8。

import java.io.*;

public class TestCharacterSet {
    public static void main(String[] args) throws IOException {
        //字节流
        FileInputStream inputStream = new FileInputStream(new File("D:/测试.txt"));
        //转换成字符流
        BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream,"UTF-8"));
        //读取
        String line = null;
        while ((line=reader.readLine())!=null){
            //打印
            System.out.println(line);
        }
    }
}

在从字节流转换成字符流的时候，建议顺手设定好字符集编码规则。最好是各个文件的编码规则一致，不然会有乱码的风险。

控制台打印:

测试一下
字节流转字符流
编码问题
喜欢金球的天魔心
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java 编码解码
m0_52650245的博客
08-14 933
1、前言位（bit）：一个最小的信息单元是位，一位表示0和1中的一个，即一个二进制位。字节（byte）:由相连的8个位组成的信息存储单位，是目前计算机最基本的存储单位，一个byte表示的数字区间[0,255]。......
【JavaSE】字符编码详解
知识输出、记录学习
10-26 418
字符编码=字符集+编码规则
使用字节数组创建String后通过getBytes()得到的数组与创建时不同
荣耀之路
08-30 2726
使用字节数组创建String后通过getBytes()得到的数组与创建时不同
java中文乱码解决之道（二）—–字符编码详解：基础知识 + ASCII + GB**
weixin_33881140的博客
01-04 287
原文出处：http://cmsblogs.com/?p=1412 在上篇博文（java中文乱码解决之道（一）—–认识字符集）中，LZ简单介绍了主流的字符编码，对各种编码都是点到为止，以下LZ将详细阐述字符集、字符编码等基础知识和ASCII、GB的详情。 一、基础知识 在了解各种字符集之前我们需要了解一些最基础的知识，如：编码、字符、字符集、字符编码基础知识。 编码 计算机中存储的信息都是...
Java基础~Java ASCII码的转换
feizuiku0116的博客
02-26 2302
一、介绍 美国信息交换标准码，就是一套现在英语、数字、和其他西欧字符（不含中文）的编号规则 字符在计算机底层就是存储其编号的二进制形式 二、演示 字符 十进制 二进制 A 65 0100 0001 B 66 0100 0010 a 97 0110 0001 b 98 0110 0010 0 48 0011 0000 三、实例 package com.europeansheik.test; public class test { public static
JAVA及相关字符集编码问题研究分享
09-04
在Java编程中，字符集编码是一个重要且复杂的话题。它涉及到如何表示和处理不同语言的字符，特别是中文字符。本文将深入探讨字符集编码的基本知识，以及Java如何处理字符编码。 首先，我们要了解几种常见的字符编码...
Java中字符编码格式详解
09-02
总的来说，Java中的字符编码格式涉及到了从源代码到运行时的多个阶段，理解这些机制对于开发能够正确处理各种字符集的Java应用程序至关重要。开发者需要特别注意编码转换时的正确性，避免因为编码不匹配导致的乱码...
Java字符编码原理(动力节点Java学院整理)
08-30
总的来说，理解Java字符编码原理，明确编码和解码的过程，以及在系统中设定统一的编码规范，是避免乱码问题的关键。开发者应养成良好的编码习惯，如使用带字符集参数的方法，以及在整个项目中保持一致的源代码文件...
Java中的字符编码问题处理心得总结
09-02
如果服务器端没有正确地设置响应编码（如`response.setCharacterEncoding("UTF-8")`），默认可能会使用GBK编码解码，导致中文乱码。因此，通常会在Web应用中设置过滤器，确保所有页面和服务端的编码一致性。 总结几...
基于Java字符编码的使用详解
09-05
本文将深入探讨Java中的字符编码，主要包括字符编码的基本概念、常见的字符集及其特点，以及Java如何处理这些编码。 首先，我们要明白字符编码是将字符映射到数字的过程，这样计算机才能识别和处理文字。字符集，如...
ASCII 及UTF-8 与字符互相转换
07-15
ASCII 及UTF-8 与字符互相转换
java中字符串的编码解码问题
javaSamBlog
05-23 389
1.将字符串转换成byte数组再恢复： byte[] getBytes(String charsetName) String(byte[] bytes, String charsetName) 或getBytes() String(byte[] bytes) 2.使用String sun.misc.BASE64Encode.encode(byte[] b) byte[] Strin...
Java数字和字符的对照关系表
weixin_47894020的博客
10-27 2724
/*数字和字符的对照关系表（编码表）： ASCII码表：American Standard Code for Information Interchange,美国信息交换标准代码。 Unicode码表：万国码。也是数字和符号的对照关系，开头0-127部分和ASCII完全一样，但是从128开始包含更多字符。 48 - ‘0’ 65 - ‘A’ 97 - ‘a’ */ public class Demo03DataTypeChar{ public static void main(String[] args){
java中字符集的问题
kiss_the_sun的专栏
08-10 4680
1、JVM中单个字符占用的字节长度跟编码方式有关，而默认编码方式又跟平台是一一对应的或说平台决定了默认字符编码方式； 2、对于单个字符：ISO-8859-1单字节编码，GBK双字节编码，UTF-8三字节编码；因此中文平台(中文平台默认字符集编码GBK)下一个中文字符占2个字节，而英文平台(英文平台默认字符集编码Cp1252(类似于ISO-8859-1))。 3、getBytes()、getBy
一文解开java中字符串编码的小秘密
程序那些事
09-12 1万+
在本文中你将了解到Unicode和UTF-8,UTF-16,UTF-32的关系，同时你还会了解变种UTF-8，并且探讨一下UTF-8和变种UTF-8在java中的应用。 一起来看看吧。
java获取字符串ascii_如何用java获得字符串的ASCII值
weixin_28973649的博客
02-27 1144
使用Integer.valueOf就可以直接将char类型的数据转为十进制数据表现形式.int value=Integer.valueOf(‘1‘);//49int value=Integer.valueOf(‘a‘);//97如下所示:ASCII 码使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符。标准ASCII 码也叫基础ASCII码，使用7 位二进制数来表示所有的大写...
Java中文字符串(String)和ASCII码互相转换
u010427692的专栏
12-30 1万+
今天给大家分享一个Java中文字符串(String)和ASCII码互相转换的小例子，供大家学习。 01 package com.ykmaiz.Test;   02     03 import java.io.UnsupportedEncodingExcepti
java String字符串与Ascii互相转换
热门推荐
hengliang_的博客
05-29 4万+
最近和老外讨论ERP集成数据老外要求把数据转换成ASCII如下：1、字符串转Asciipublic static voidConvertToASCII() { String string = "193521.641"; StringBuilder sb = new StringBuilder(); char[] ch = string.toCharArray(); fo...
java 字符集编码怎么使用
最新发布
06-11
Java中的字符集编码是通过Java的字符编码API进行处理的。Java中的字符串是以Unicode编码来表示的，因此，如果你要处理其他字符编码（如GBK、UTF-8等），你需要进行编码和解码。 以下是Java中字符集编码的一些常用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值