按照字节截取字符串

按照字节截取字符串

🤯起因

银行开户接口，要求参数通讯地址不能超过152个字节，但是通讯地址字符串的组成，可能包含中文+英文或者其他的字符，且中文在不同的编码所占的字节数又不一样，所以需要根据编码来截取不同长度的字符串，且不能截取到半个汉字出现乱码

🤯编码

各种编码由来

​ ASCII：美国信息交换标准码，标准ASCII码为7位，扩充ASCII码为8位，在处理时都按照1个字节处理，所以：

• 标准ASCII码只能表示128个字符，扩充ASCII码能表示128个字符，非常有限
• 1个字母占1个字节

ANSI：为了扩充ASCII码，显示其他非英语的语言字符而产生的新编码方式，不同国家有不同的编码，下面为中文的编码：

• GB2312：简单可以理解为简体中文编码表示，采用94行94列的方阵，对每一行称为一个“区”，每一列称为一个“位”，所以字符在矩阵中就有了唯一的位置，且需要用2个字节表示，一个表示区，一个表示位，所以理论上GB2312最多能存储256*256个汉字。

• GBK：扩展GB2312，支持古文生僻字的编码
• Big5：繁体字的编码（台湾、香港、澳门用的居多）

​ Unicode：为了统一ANSI的多种编码方式的统一编码，但是效率不高
​ UTF-8：为了解决Unicode的效率问题，出现了UTF-8；
​ Base64：8Bit字节代码的编码方式之一，用于传输8Bit字节代码，适用于http传输

汉字到底怎么占位？

编码	一个汉字占位	一个英文占位
GB2312	2	1
GBK	2	1
Unicode	4	4
UTF-8	3/4	1

🤯汉字二进制转换成10进制值范围？

GB2312 和 GBK 的编码方式一致，具体为：

• 对于 ASCII 字符，使用一个字节存储，并且该字节的最高位是 0，这和 ASCII 编码是一致的，所以说 GB2312 完全兼容 ASCII
• 对于中国的字符，使用两个字节存储，并且规定每个字节的最高位都是 1

UTF-8存储方式：

​ UTF-8区分每个字符的开始是根据字符的高位字节来区分的，比如用一个字节表示的字符，第一个字节高位以“0”开头；用两个字节表示的字符，第一个字节的高位为以“110”开头，后面一个字节以“10开头”；用三个字节表示的字符，第一个字节以“1110”开头，后面俩字节以“10”开头；用四个字节表示的字符，第一个字节以“11110”开头，后面的三个字节以“10”开头

综上所述：无论GBK、GB2312、UTF-8二进制表示的高位都是1，所以每个字节转换成有符号的十进制都小于0，我们就有了思路，当遇到汉字时，转成的byte值是小于0的

🤯如何实现按字节截取呢？

1. 先定义编码枚举，主要管理不同编码下，一个汉字所占用的字节数量

   /**
    * 编码 enum
    */
   @AllArgsConstructor
   @Getter
   public enum ChartSet {
       GBK("GBK", 2),
       GB2312("GB2312", 2),
       UTF8("UTF-8", 3),
       UNICODE("Unicode", 4),
       ;
       private String value;
       /*
        中文所占字节
        */
       private int bytes;
   }
   

按照编码方式会有不同的存储字节数量（UTF-8中大多数中文字都是占3位，所以这里按照3位处理）

2. 截取方法

   /**
    * 不同编码中，按字节截取字符串
    *
    * @param str      待截取字符串
    * @param chartSet 截取的字节长度
    * @param len
    * @return
    * @throws UnsupportedEncodingException
    */
   public static String subStringByByte(String str, ChartSet chartSet, int len) throws UnsupportedEncodingException {
       if (StringUtils.isBlank(str)) {
           return str;
       }
       byte[] bytes = str.getBytes(chartSet.getValue());
       int num = 0;
       for (int i = len - 1; i >= 0; i--) {
           if (bytes[i] < 0) {
               num++;
           } else {
               break;
           }
       }
       int sub = num % chartSet.bytes;
       return sub == 0
               ? new String(bytes, 0, len, StandardCharsets.UTF_8)
               : new String(bytes, 0, len - sub, StandardCharsets.UTF_8);
   }
   

主要思想：

1. 按照编码把字符串转换成byte[]
2. 根据截取字节长度，从数组截取处向前循环直到遇到正数后break，计算负数的个数，此负数个数的作用是，用来判断截取处，最后一个汉字是否完全被截取到：

• 如果完全截取到，则截取byte[]的长度为(0, len)
• 如果截取了一部分，则应该截取byte[]的长度为(0, len - (负数的个数 % 一个汉字占用字节))

参考：

• GB2312编码和GBK编码，将中文存储到计算机
• utf-8中一个汉字是3个字节，你知道吗？

😈如果有错误请不吝赐教呀～～