Java中涉及的编码知识

最新推荐文章于 2022-11-27 08:06:09 发布
最新推荐文章于 2022-11-27 08:06:09 发布
阅读量105 收藏 1
点赞数
分类专栏： java编码

 

发发牢骚

在工作中遇到不少Java编码问题，每次解决乱码问题，都花了较长的时间，非常影响工作效率！ 
在工作中会经常遇到各种各样的问题，每次一个问题总是捣腾了很久，然后就解决了，但其实没有弄明白问题的本质。当下次遇到类似的问题，还是继续折腾，非常浪费时间。 
想要高效解决编码问题，当然要究其根源。以后遇到类似问题，可以顺藤摸瓜，轻松解决！

典型问题

  • Java采用哪种字符集
  • Java中一个字符需要几个字节存储
  • String.getBytes()方法哪种编码方式？IOS-8895-1、还是UTF-8？
  • 乱码产生的原因

如果能够回答以上问题，那么这篇文章可以Pass了！

将Unicode字符串转化成UTF-8、ISO-8859-1字符串

Java采用Unicode字符集，一个字符用两个字节存储。

以下是程序片段：将Unicode字符串转化成UTF-8、ISO-8859-1字符串

    String cnName = "I am 小佳";
    //Unicode字符集        
    System.out.println(printHexString(cnName.toCharArray()));
    //ISO-8859-1编码       
    System.out.println(printHexString(cnName.getBytes("ISO-8859-1")));
    //UTF-8编码 
    System.out.println(printHexString(cnName.getBytes("UTF-8")));
    /**
     * 字节数组转换成16进制
     * @param b
     * @return
     */
    private  String printHexString( byte[] b) {
        String a = "";
        for (int i = 0; i < b.length; i++) {
            String hex = Integer.toHexString(b[i] & 0xFF);
            if (hex.length() == 1) {
                hex = '0' + hex;
            }

            a = a+hex;
        }
        return a;
    }

    /**
     * 字符数组转化成16进制
     * @param b
     * @return
     */
    private  String printHexString(char[] b) {
        String a = "";
        for (int i = 0; i < b.length; i++) {
            String hex = Integer.toHexString(b[i] & 0xFFFF);
            if (hex.length() == 1) {
                hex = '0' + hex;
            }
            a = a+hex;
        }
        return a;
    }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42

字符串”I am 小佳”，由Unicode转换成UTF-8和ISO-8859-1，得到不同的字节（16进制表示），主要区别如下：

  1. 对于英文字符，无论采用何种编码方式，得到的编码结果相同。所以，英文字符不存在乱码问题
  2. 对于中文字符，不同的编码方式得到不同的结果；Unicode用2个字节存储中文，UTF-8用3个字节存储中文
  3. ISO-8859-1不支持中文，任何中文，采用该编码，都会转换成3F(3F映射的字符为’?’)； 所以当中文用ISO-8859-1编码时，会生成一些列带问号的乱码’????????????????’
编码方式I am 小佳
Unicode4920616D205C0F4F73
ISO-8859-14920616D203F3F
UTF-84920616D20E5B08FE4BDB3

乱码的产生

采用不同的编码方式进行 编码 和 解码 ， 是生成乱码的根源。下面分析两种常见的乱码

    String cnName = "I am 小佳";
    //采用ISO-8859-1编码、UTF-8解码
    String iso88591Str = new String (cnName.getBytes("ISO-8859-1"), "UTF-8");
    //采用UTF-8编码、ISO-8859-1解码
    String utf8Str = new String (cnName.getBytes("UTF-8"), "ISO-8859-1");             
    System.out.println(iso88591Str);//打印结果，乱码：I am ??
    System.out.println(utf8Str);//打印结果，乱码：I am å°ä½³
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
源字符串编码解码转换结果
I am 小佳UTF-8ISO-8859-1I am å°ä½³
I am 小佳ISO-8859-1UTF-8I am ??

产生乱码”I am å°ä½³”的原因是：ISO-8859-1只能对单个字节编码 
产生乱码”I am ??”的原因是：ISO-8859-1会把所有的中文字符转化成3F，3F映射的字符为’?’

getBytes()的编码方式

String.getBytes()采用操作系统默认的编码方式，请看getBytes()源码 
获取默认编码在这个方法： defaultCharset()，该方法从关键 
字“file.encoding”获取默认编码方式 
题外话：defaultCharset方法值得研究，该方法是线程安全的，并且用了缓存！ 
如果你使用getBytes()，发生了中文乱码问题， 则需要设置file.encoding为UTF-8, 即可解决乱码问题

    public byte[] getBytes() {
        return StringCoding.encode(value, 0, value.length);

    }
    static byte[] encode(char[] ca, int off, int len) {
        //获取默认得编码方式
        String csn = Charset.defaultCharset().name();
        try {
            // use charset name encode() variant which provides caching.
            return encode(csn, ca, off, len);
        } catch (UnsupportedEncodingException x) {
            warnUnsupportedCharset(csn);
        }
        try {
            return encode("ISO-8859-1", ca, off, len);
        } catch (UnsupportedEncodingException x) {
            // If this code is hit during VM initialization, MessageUtils is
            // the only way we will be able to get any kind of error message.
            MessageUtils.err("ISO-8859-1 charset not available: "
                             + x.toString());
            // If we can not find ISO-8859-1 (a required encoding) then things
            // are seriously wrong with the installation.
            System.exit(1);
            return null;
        }
    }
    public static Charset defaultCharset() {
        if (defaultCharset == null) {
            synchronized (Charset.class) {
                //从操作系统获取默认得编码方式
                String csn = AccessController.doPrivileged
                    new GetPropertyAction("file.encoding"));
                Charset cs = lookup(csn);
                if (cs != null)
                    defaultCharset = cs;
                else
                    defaultCharset = forName("UTF-8");
            }
        }
        return defaultCharset;
    }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41

总结

我这里只是抛砖引玉，讲述了Unicode转换UTF-8、ISO-8859-1的过程，以及乱码问题产生的根源。 
如果对编码问题感兴趣的话，可以进一步探讨GBK、GB2313、UTF-8的编码转换是否会产生乱码 
另外，编码问题很考验思维深度，有不少面试官会专门出编码的题目。所以，编码问题值得研究！

文章标签：  Java UTF-8 ISO-8859-1 编码
cc-cf
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Java基础知识 1】Java入门级概述
学Java，找哪吒
09-25 15万+
CSDN最强Java专栏，包含全部Java基础知识点、Java8新特性、Java集合、Java多线程、Java代码实例，理论结合实战，实现Java的轻松学习。
java编码：使用掌握Java相对独立的知识点
02-25
在“java编码：使用掌握Java相对独立的知识点”这个项目中，我们主要关注的是Java编程语言的一些关键概念和技巧。项目包含多个子模块，分别涉及代理编程、Zookeeper的使用、Linux基础知识、Dubbo框架以及使用Redis...
java编码总结1
04-06
NULL 博文链接：https://lhc1986.iteye.com/blog/1544701
java编码知识详解
weixin_44130081的博客
05-05 466
java编码知识详解 简介 计算机的本质就是二进制，所以对计算机下达的所有指令最终都会转换为0,1代表的二进制数，比如数字，汉语，符号最终对应的都是二进制数，但是具体哪个符号对应哪个二进制数，就要有一套标准来规范，不同的标准就是不同的编码方式。 目前java语言中常用的编码方式是ASCII、ISO-8859-1、GBK、UTF-8、UTF-16其余的编码方式不做讨论，现在就来说说这几种编码方式。 ...
java编码相关知识点
m0_44966214的博客
08-13 198
每个国家都定义了自己的编码标准，比如中国的GBK中“人”字可能用1521表示，但是在UTF-8中1521表示的是这玩意儿：“釰”，5211才是“人”字。比如代表中文的(GB2312编码规范)就规定用2个字节来标识一个汉字（两个字节相当于最多65536个符号，实际上GB2312刚开始制定的时候只规定了6713个汉字）。继续中文举例，GB2312作为刚开始制定的标准，代表的汉字和符号明显是不够用的。其中UTF-8是最常用的，UTF-8是可变字符，因为它的一个字符可以是一个字节也可以是2个字节，最多4个字节。..
编码 （java实现）
sugerandmaster
09-10 311
Problem Description 给你一个由大写字母组成的组成的字符串，你可以用如下规则对其进行编码： 1、 包含K个相同字母的连续字符串可以用KX表示，其中X是相同的字母。 2、 如果K为1，不输出K Input 输入有多组，直到文件结束。每组一个字符串，长度为10000以内 Output 输出编码后的字符串。 Sample Input ABC ...
java中的编码知识
08-02
在Java编程语言中，编码知识是开发者必须掌握的基础概念，涉及到字符集、字符串处理、文件读写等多个方面。本文将深入探讨Java中的编码问题，并基于提供的博文链接进行扩展。 首先，我们要理解字符编码的基本概念。...
Java 字符编码
lpblog的博客
02-11 115
1.对于8种基本数据类型来说: 其中byte, short,int,long,float, double, boolean,这7种类型计算机表示起来 比较容易,因为他们都是数字。其中布尔类型只有两个值true和 false,实际上 true和fase分别在C++中对应的是1和0,1为true, false为0 对于char类型来说计算机表示起来比较麻烦,因为char对应的是文字,每一个国家 的文字不一样,文字不能直接通过自然算法转换成二进制。这个时候怎么办? 字符编码诞生了 什么是字符编码? 字符编码是人为
Java程序员应该懂的字符编码知识
且炼时光
07-09 451
一 先行知识 1 概念定义 字符(Character): 各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。 字符集(Character set) 多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。 Unicode Unicode是为整合全世...
Java编码规范
01-29
1 Java编码规范；2 alibaba的Java开发手册；3 格式化模板
JAVA程序的编码格式详解
09-24
本文将向你详细介绍 Java 中编码问题出现的根本原因，你将了解到：Java 中经常遇到的几种编码格式的区别；Java 中经常需要编码的场景；出现中文问题的原因分析；在开发 Java web 程序时可能会存在编码的几个地方，一个 HTTP 请求怎么控制编码格式？如何避免出现中文问题？
JAVA编码
brushli的专栏
11-19 1378
最近做的项目经常会遇到编码转换的问题，这里总结一下常用的编码，以便以后查阅。 1、ASCII码 ASCII(American Standard Code for Information Interchange， 美国信息交换标准码)是一种单字节8位的编码方式。 总共可表示2^8=256个字符，实际上只用了128个，即0~127位。ASCII有个缺点，就是只能表示英文字母及一些简单的符号，不能
JAVA有哪几种常见的编码？
DLQFHL的博客
07-11 523
为什么要编码 不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。 由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定为英语，其它语言要...
java中的编码_Java中的编码
weixin_33513218的博客
02-20 334
提及Java中的编码问题，许多博客都会提及Java中的getBytes()方法，不过笔者在研究这个问题的时候，会陷入一个疑惑中，getBytes()方法的作用是将字符串按照指定的charset编码，但是这些字符串本身其实已经以某种编码方式存在内存中了，那这个方法的指定参数不会导致乱码吗，假如原本是以unicode码存在内存，getBytes("BGK")用BGK对原来的编码进行再编码？要较好的理解...
java文件编码
最新发布
weixin_36705589的博客
11-27 1371
ASCII编码，8bit（一个字节），能表示的最大的整数就是255（2^8-1=255），由于ASCII 的编码最高位总是 0，所以只定义了128 个字符，用0 - 127用来表示大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。而且最广泛的就是常用的UTF-8。UTF-8，Unicode Transformation Format，可变长度编码，通常使用1~4字节为每个字符编码，兼容ASCII编码，这是一种Unicode的一种转换格式。
Java的编码方式
weixin_60216914的博客
08-06 2909
一：中文编码的一个发展历程 简体中文编码：GB2321--->GBK--->GB18030（容量从小到大） 繁体中文编码：big5(别称大五码) 二：Java语言采用的编码Unicode 随着Java编码的发展，出现了一种统一的编码文字即Unicode 包含UTF-8,UTF-16,UTF-32所以现在的标识符可以写中文 三：怎么将文字转换成编码 可以使用JDK中自带的native2ascill命令 可以cmd输入，然后输入文字回车就可以了 ps:解码和编码采用同一套对照表，否
java的编码方式_JAVA 编码方式
weixin_29614791的博客
02-25 1221
下面解释一下Java的编码方式，知道了编码方式则乱码将很容易解决。2 : IO流操作的基本单元观看io里面stream的操作，最终有两种:write(int b),write(byte[] bs),读的方式也一样。 其余的均是在这两种方式上进行封装处理。由此也能看到文件操作的基本单元bit，而Java的基本单元是字节(byte)，一个字节8个bit，字节能表示的范围为[0，255]。而java里面...
java字符编码
飞行鱼的专栏
12-02 1406
我這一兩個月利用下班時間寫了一個用Java Servlet以及XML/XSL來作的留言 板，同時支援簡體、繁體，甚至日文的輸入與顯示，這是怎麼做到的呢？很 簡單，利用Unicode。 我的servlet處理中文只要兩個指令： response.setContentType("text/html;charset=UTF-8"); request.setCharacterEncoding("UTF-8
Java跨平台编码深度解析：问题、场景与解决方案
深入分析Java中的中文编码...总结来说，Java中的中文编码问题涉及字符集的选择、数据传输中的适配以及正确处理字符串。理解这些概念并遵循最佳实践，可以在开发过程中避免常见的编码问题，确保程序的稳定性和兼容性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值