java输出 US-ASCII、ISO_8859_1、UTF-16、UTF-8、GB2312、GBK、GB18030所有字符，并对比

已于 2024-09-24 14:07:28 修改
阅读量10w+ 收藏 8
点赞数 2
分类专栏： java 文章标签： java 开发语言 算法
于 2023-08-10 11:23:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lishuoboy/article/details/132204878
版权

相关文章

1.ASICII、GB2312、GBK、GB18030 以及 UTF8 的关系

在这里插入图片描述

2.编写代码

  • 引入依赖：hutool工具类
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.32</version>
        </dependency>
  • 编写java代码
package top.lishuoboy.regex.java;

import cn.hutool.core.date.DateUtil;
import cn.hutool.core.date.TimeInterval;
import cn.hutool.core.io.FileUtil;
import cn.hutool.core.lang.Console;
import cn.hutool.core.thread.ThreadUtil;
import cn.hutool.core.util.ArrayUtil;
import cn.hutool.core.util.ByteUtil;
import cn.hutool.core.util.StrUtil;
import lombok.extern.slf4j.Slf4j;

import java.io.File;
import java.nio.ByteOrder;
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.SortedMap;
import java.util.concurrent.ThreadPoolExecutor;

@Slf4j
public class MyCharsetPrint {
    static TimeInterval timer = DateUtil.timer();
    static ThreadPoolExecutor pool = ThreadUtil.newExecutor(100, 100, Integer.MAX_VALUE);
    static String BASE_DIR = "asset/0.charset";
    static Charset CHARSET_ASCII = StandardCharsets.US_ASCII;
    static Charset CHARSET_ISO_8859_1 = StandardCharsets.ISO_8859_1;
    static Charset CHARSET_UTF_16 = StandardCharsets.UTF_16;
    static Charset CHARSET_UTF_8 = StandardCharsets.UTF_8;
    static Charset CHARSET_GB2312 = Charset.forName("GB2312");
    static Charset CHARSET_GBK = Charset.forName("GBK");
    /**
     * jdk17.0.8、jdk11.0.20 和 jdk8u381 对GB18030编码提供了增强支持。 默认版本从GB18030-2000升级到了18030-2022。
     * 如需使用GB18030-2000，需指定虚拟机参数-Djdk.charset.GB18030=2000
     */
    static Charset CHARSET_GB18030 = Charset.forName("GB18030");

    public static void main(String[] args) {
        // 输出所有支持的字符集 及 对应的别名
        printAvailableCharsets();
        // 输出 '中' 的UTF-16（unicode）编码，正则找中文就是一以UTF-16为准
        System.err.println(Integer.toHexString('中'));   // 4e2d

        timer.restart();
        // 输出各个字符集的所有字符
        printChar("0.1-1.1", CHARSET_ASCII, false);
        printChar("0.1-1.1", CHARSET_ASCII, true);
        printChar("0.2-1.2", CHARSET_ISO_8859_1, false);
        printChar("0.2-1.2", CHARSET_ISO_8859_1, true);
        printChar("0.3-2.1", CHARSET_UTF_16, false);
        printChar("0.3-2.1", CHARSET_UTF_16, true);
        printChar("0.4-2.2", CHARSET_UTF_8, false);
        printChar("0.4-2.2", CHARSET_UTF_8, true);
        printChar("0.5-3.1", CHARSET_GB2312, false);
        printChar("0.5-3.1", CHARSET_GB2312, true);
        printChar("0.6-3.2", CHARSET_GBK, false);
        printChar("0.6-3.2", CHARSET_GBK, true);
        printChar("0.7-3.3", CHARSET_GB18030, false);
        printChar("0.7-3.3", CHARSET_GB18030, true);

        pool.shutdown();
        while (!pool.isTerminated()) {
            log.warn("pool.ActiveCount=={}", pool.getActiveCount());
            ThreadUtil.sleep(10000);
        }
        log.info("用时=={}", timer.intervalPretty());
    }

    /**
     * 输出所有字符
     *
     * @param isMarkDown 是否markdown格式
     */
    private static void printChar(String sortNo, Charset charset, boolean isMarkDown) {
        pool.submit(() -> {
            log.warn(StrUtil.fillAfter("name==" + charset, ' ', 30) + ", aliases=={}", charset.aliases());
            File file;
            if (isMarkDown) {
                file = new File(BASE_DIR, sortNo + "." + charset + ".md");
            } else {
                file = new File(BASE_DIR, sortNo + "." + charset + ".txt");
            }
            FileUtil.del(file);   // 删文件
            StringBuilder sbLine = StrUtil.builder();
            StringBuilder sbLines = StrUtil.builder();
            if (isMarkDown) {
                sbLines.append("""
                    |-0.5byte| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | a | b | c | d | e | f |
                    |-------:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
                      """);
            }
            /*
             ASCII/ISO_8859_1       占1              个字节。
             GB2312/GBK             占1/2            个字节。汉字   占2个字节
             GB18030                占1/2/4          个字节。汉字主要占2个字节
             UTF-16                 占  2/4          个字节。汉字   占2个字节。暂没找到3个字节以上的字符，不输出了
             UTF-8                  占1/2/3/4/5/6    个字节。汉字   占3个字节。暂没找到3个字节以上的字符，不输出了
             */
            long iMax;
            if (StrUtil.equalsAnyIgnoreCase(charset.name(), "US-ASCII", "ISO-8859-1")) {
                iMax = 1L << 8;
            } else if (StrUtil.equalsAnyIgnoreCase(charset.name(), "GB2312", "GBK")) {
                iMax = 1L << 16;
            } else if (StrUtil.equalsAnyIgnoreCase(charset.name(), "UTF-16", "GB18030")) {
                iMax = 1L << 32;
            } else if (StrUtil.equalsAnyIgnoreCase(charset.name(), "UTF-8")) {
                iMax = 1L << 32;
            } else {
                iMax = 1L;
                log.warn("字符集的长度未指定, charset==[{}]", charset);
            }

            // 实测字符范围
            long minVal = 1L << 24;
            long maxVal = 1L << 32;
            if (charset.equals(CHARSET_GB18030)) {   // 0x81308130L~0x8431a43fL, 0x90308130L~0x9939f73fL
                minVal = 0x81308130L;
                maxVal = 0x9939f73fL;
            } else if (charset.equals(CHARSET_UTF_16)) {
                minVal = 0xd800dc00L;
                maxVal = 0xd87adfefL;
            } else if (charset.equals(CHARSET_UTF_8)) {
                minVal = 0xf0908080L;
                maxVal = 0xf0aeafafL;
            }
            for (long i = 0; i < iMax; i++) {
                if (i >= 1 << 24 && !(i >= minVal && i <= maxVal)) {
                    continue;
                }
                byte[] bytes = ByteUtil.longToBytes(i, ByteOrder.BIG_ENDIAN);
                int maxLen;  // 转16进制的最大长度
                if (charset.equals(CHARSET_UTF_16)) {
                    maxLen = 4 * ((Long.toBinaryString(i).length() - 1) / 16 + 1);
                    bytes = ArrayUtil.sub(bytes, bytes.length - maxLen / 2, bytes.length);    // 截取后2/4个字节
                } else {
                    maxLen = 2 * ((Long.toBinaryString(i).length() - 1) / 8 + 1);
                    bytes = removeBefore0(bytes);
                }
                String idxStr = StrUtil.fillBefore(Long.toHexString(i), '0', maxLen);    // 总次数-16进制格式
                // 拼接行头
                if (i % 16 == 0) {
                    String linePre = StrUtil.format("|{}|", idxStr);
                    if (isMarkDown) {
                        linePre = StrUtil.format("|{}|", StrUtil.fillBefore(idxStr, ' ', 8));
                    }
                    sbLine.append(linePre);
                }
                String charStr;         // 最终字符
                charStr = new String(bytes, charset);
                // 多字节的字符又不是1个字符或者为"�"则置空
                if ((StrUtil.equalsAny(charStr, "�") || charStr.codePointCount(0, charStr.length()) != 1)
//                && !charset.equals(CHARSET_UTF_16)
                ) {
                    charStr = "";
                }
                // 转义几个字符
                if (charStr.equals("\b")) {
                    charStr = "\\b";        // BS
                } else if (charStr.equals("\n")) {
                    charStr = "\\n";        // LF
                } else if (charStr.equals("\r")) {
                    charStr = "\\r";        // CR
                } else if (charStr.equals("|") && isMarkDown) {
                    charStr = "&#124;";     // | 转义markdown分隔符
                }
                // 拼接行
                String lineText = StrUtil.format("{}|", charStr);
                if (isMarkDown) {
                    lineText = StrUtil.format(" {} |", charStr);
                }
                sbLine.append(lineText);
                // 拼接行尾
                if ((i + 1) % 16 == 0) {
                    sbLine.append("\r\n");
                    if (StrUtil.containsAny(sbLine, "||||||||||||||||", "|  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |  |")) {  // 全行都为空则全行置为空
                        sbLine = StrUtil.builder();
                    }
                    sbLines.append(sbLine);
                    sbLine = StrUtil.builder();
                }
                // 写文件
                if ((i + 1) % (1 << 24) == 0) {
                    log.info(idxStr + "@" + file.getName());
//                    System.out.print(sbLines);
                    FileUtil.appendUtf8String(sbLines.toString(), file);
                    sbLines = StrUtil.builder();
                }
            }
//            System.out.print(sbLines);
            FileUtil.appendUtf8String(sbLines.toString(), file);
        });
    }

    /** 将字节数组中前面的0干掉（知道第一个不是0的结束） */
    private static byte[] removeBefore0(byte[] bytes) {
        byte[] bytesNew = new byte[1];
        for (int i = 0; i < bytes.length; i++) {
            if (bytes[i] != 0) {
                bytesNew = ArrayUtil.sub(bytes, i, bytes.length);
                return bytesNew;
            }
        }
        return bytesNew;
    }

    /** 输出所有支持的字符集 及 对应的别名 */
    private static void printAvailableCharsets() {
        SortedMap<String, Charset> availableCharsets = Charset.availableCharsets();
        for (Charset charset : availableCharsets.values()) {
            Console.log(StrUtil.fillAfter("name==" + charset, ' ', 30) + ", aliases=={}", charset.aliases());
        }
    }

}

3.对比

3.1. GB2312与GBK

  • 1在这里插入图片描述
  • 2
    在这里插入图片描述

3.2. GBK与GB18030（只比对前2个字节）

  • 1
    在这里插入图片描述

  • 2
    在这里插入图片描述

  • 3
    在这里插入图片描述

  • 1
    在这里插入图片描述

  • 2
    在这里插入图片描述

茅坑的小石头
关注
专栏目录
java gb18030 转 utf-8_gb18030与utf-8
weixin_36469247的博客
02-17 2371
今天在跟着嵩天老师学习词云模块的过程中遇到了编码问题：UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1：invalid start byte。百度之后，发现如下两种方法：一、把编码方式utf-8 修改为gb18030二、把原来的txt文件重新打开另存为的时候，把编码方式修改为utf-8，然后代码的encod...
Java输出GB2312字符集内容
06-21
该源码用来输出GB2312字符集内容到指定文件,在学习字符编码时对具体字符范围不太熟悉的朋友可以看一下
【Java】字符集详解（ASCII,GBK）
最新发布
qq_39921135的博客
07-11 2364
1、在计算机中，任意数据都是以二进制的形式来存储的2、计算机中最小的存储单元是一个字节3、ASCII字符集中，一个英文占一个字节4、简体中文版Windows，默认使用GBK字符集5、GBK字符集完全兼容ASCII字符集一个英文占一个字节，二进制第一位是0一个中文占两个字节，二进制高位字节的第一位是1，第一个字节转成十进制是负数；第二个字节转成十进制可能为正，也可能为负。6、Unicode字符集的UTF-8编码格式一个英文占一个字节，二进制第一位是0，转成十进制是正数。
【转】对字符编码与Unicode,ISO 10646,UCS,UTF8,UTF16,GBK,GB2312的理解[holen@donews]
我是个程序员
04-03 3329
对字符编码与Unicode,ISO 10646,UCS,UTF8,UTF16,GBK,GB2312的理解 -------------------------------Unicode: unicode.org制定的编码机制, 要将全世界常用文字都函括进去.在1.0中是16位编码, 由U+0000到U+FFFF. 每个2byte码对应一个字符; 在2.0开始抛弃了16位限制, 原来的16
java编码表GBK、GB2312
91奔跑的蜗牛
10-31 1034
GBK可以看成是GB2312的升级版，添加了一些繁体字以及生僻字。
Java中的字符集编码入门（三）GB2312，GBK与中文网页
junJZ_2008的专栏
11-07 148
GB2312是对中国的开发人员来说很重要的一个词汇，它的来龙去脉并不需要我在这里赘述，随便Goolge之便明白无误。我只是想提一句，记得前一节说到编码字符集和字符集编码不是一回事，而有的字符集编码又实际上没有做任何事，GB2312正是这样一种东西！     GB2312最初指的是一个编码字符集，其中包含了ASCII所包含的英文字符，同时加入了6763个简体汉字以及其他一些ASCII之外的符号。...
java 字符串转换成gb2312编码格式
王威振的博客
10-12 5302
public static String convertStr(String msg) throws UnsupportedEncodingException { //先把字符串按gb2312转成byte数组 byte[] bytes = msg.getBytes("gb2312"); StringBuilder gbString = new StringBuilder(); for (byte b : bytes) { // 再用Integ.
UTF-8与GB2312之间的互换类.rar_ UTF-8toGB2312_UTF-8 GB2312_gb2312_mmi_ch
09-23
标题中的"UTF-8与GB2312之间的互换类.rar_ UTF-8toGB2312_UTF-8 GB2312_gb2312_mmi_ch"指的是一个能够帮助开发者在UTF-8和GB2312两种编码格式之间进行转换的程序类库。这个压缩包可能包含了源代码文件，使得用户可以...
zwbmxj.zip_UTF8_gb2312 utf8_utf8-unicode_汉字 编码_汉字编码
09-14
汉字编码是计算机处理中文字符的关键技术，涉及到不同的编码标准，如GBK、GB2312、UTF-8以及ISO-8859-1等。这些编码方式在不同场景下有着各自的应用和特点。 首先，GB2312是1980年代中国制定的一种简体中文字符编码...
utf-8.rar_c++ string utf-8_string to utf-8_utf_utf 8_utf-8
09-24
在C++编程中，UTF-8编码是一种广泛使用的字符编码标准，它能够表示Unicode字符集中的所有字符。本文将深入探讨如何在C++中处理UTF-8字符串，并介绍相关的关键概念和技术。 首先，C++标准库并没有直接支持UTF-8编码...
UTF-8toGBK_labview编码gbk_LabVIEWUTF-8_utf-8toGbk_
09-29
UTF-8的优势在于对ASCII字符集的兼容性，前128个Unicode字符（包括英文、数字和常见符号）只需要一个字节表示，这使得UTF-8在互联网上广泛使用，因为其与ASCII的兼容性可以减少传输数据量。此外，UTF-8也支持全球大...
gb18030编码
02-08
该压缩包是一个android工程，提供了汉字库到国标gb18030编码的转换
java gb2312_utf8
04-02
java gb2312_utf8VB技术很实用的源码
Java 文件编码转换，将项目下的java文件编码由gbk与utf-8互转
03-10
* *文件编码转换，gbk与utf-8互转 * changeFileCode 方法，4个属性：(需要转换的文件目录，转换后的文件目录，当前文件编码格式，转换成需要的文件编码)； * 需要转换的文件目录，转换后的文件目录--可以为同一路径 * * @param srcDirPath 需要转换的文件目录 * @param desDirPath 转换后的文件目录 * @param srcCodeStyle 当前文件编码格式 * @param desCodeStyle 转换成需要的文件编码 * @author WangBenYan
GB2312转换为Unicode码工具 java编写 有
12-09
为了支持国际化的web开发中经常转换中文为Unicode码 特此由java编写此工具 需要安装jdk 转换方法很简单 原理也很简单 有更好方法的仁兄前辈 望发上来共同分享 压缩包中分三部分 1 源码 2 jar包 3 已压缩为exe的文件
gbk18030 java_编码 ASCII ISO8859-1 GB2312 GBK GB18030 UNICODE UTF
weixin_33362096的博客
03-05 551
常见的编码如下：国外：ASCII(1968年) ISO8859-1(1987年)UNICODE(1994年)+ + + + + + ...
java String输出GB2312编码格式到文件
Start_From_Scratch的博客
01-04 612
【代码】java String输出GB2312编码格式到文件。
java 转gb2312_字符编码转换_进制转换（GB2312,GBK,JNI,HexTOStr） (转)
weixin_42306938的博客
02-20 1420
///////////////////////////////////////////////////////////////////////*ASCII英文一个字节gb2312，gbk中文两个字节，英文一个字节在中文系统中ansi一般指gb2312或gbkGB2312、GBK都属于双字节字符集(DBCS)Utf-8中文三个字节，英文一个字节Unicode中文两个字节，英文两个字*///...
Java获取GB2312所有汉字
凌康的博客
10-04 1097
Java获取GB2312所有汉字 GB2312中汉字的编码范围为，第一字节0xB0-0xF7(对应十进制为176-247)，第二个字节0xA0-0xFE（对应十进制为160-254） import java.io.File; import java.io.FileWriter; /** * @author lingkang * @date 2021/10/4 16:46 * @description */ public class Test01 { public static void m
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茅坑的小石头

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值