有关字符编码学习记录

2019独角兽企业重金招聘Python工程师标准>>>

Surrogate 這個概念，不是來自 Java 語言，而是來自 Unicode 編碼方式之一 UTF-16 。
具體請見： UTF-16
簡而言之，Java 語言內部的字符信息是使用 UTF-16 編碼。因為，char 這個類型是 16-bit 的。它可以有65536種取值，即65536個編號，每個編號可以代表1種字符。但是，Unicode 包含的字符已經遠遠超過65536個。那，編號大於65536的，還要用 16-bit 編碼，該怎麼辦？於是，Unicode 標準制定組想出的辦法就是，從這65536個編號裏，拿出2048個，規定它們是「Surrogates」，讓它們兩個為一組，來代表編號大於65536的那些字符。
更具體地，編號為 U+D800 至 U+DBFF 的規定為「High Surrogates」，共1024個。編號為 U+DC00 至 U+DFFF 的規定為「Low Surrogates」，也是1024個。它們兩兩組合出現，就又可以多表示1048576種字符。
作者：圓月亮
链接：https://www.zhihu.com/question/42176549/answer/93852738
来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

 

public static void main(String[] args) throws UnsupportedEncodingException {
    String str = null;
    str = "中";
    System.out.println(str.getBytes("GBK").length);     // 2
    System.out.println(str.getBytes("UTF-8").length);   // 3
    System.out.println(str.getBytes("UNICODE").length); // 4
    System.out.println(str.getBytes("UTF-16").length);  // 4

    str = "b";
    System.out.println(str.getBytes("GBK").length);     // 1
    System.out.println(str.getBytes("UTF-8").length);   // 1
    System.out.println(str.getBytes("UNICODE").length); // 4
    System.out.println(str.getBytes("UTF-16").length);  // 4

    System.out.println(0xD800 + "-" + 0xDBFF);
    System.out.println(0xDC00 + "-" + 0xDFFF);

    // Character.codePointAt();
}

 

浙中文字符反转义

<dependency>
    <groupId>org.kie.modules</groupId>
    <artifactId>org-apache-commons-lang3</artifactId>
    <version>6.5.0.Final</version>
</dependency>

String s3 = StringEscapeUtils.unescapeHtml4("浙江 绍兴");
System.out.println(s3);

 

 

转载于:https://my.oschina.net/zhuqianli/blog/1606110