JVM 字符编解码 UTF-8 UTF-16

背景

关于字符编码问题，印象深刻的有两次：

• JNI层获取JVM中Emoji表情出错，上层看到4个字节，到JNI层拿出来成了6个字节
• 面试中一道笔试题

byte[] a = new byte[]{(byte) 0xc6, (byte) 0xd0};
String s = new String(a);
byte[] b = s.getBytes();
问：最后a和b的内容是否相等？

这里分析下笔试中的题目。

过程

直接敲代码调试：

从图中看到a数组2个字节，b数组6个字节，内容不同。
但是，为什么不同？这些数字是怎么计算出来的？

首先，我知道JVM内部是以UTF-16形式存储字符，那看下内部存了什么数：

找Stack Overflow问：

在尝试解析输入流时碰到了畸形的数据，被替换为Unicode U+FFFD

去Unicode官网验证：

确实没骗人。

再看默认解码方式：

Unicode使用UTF-8解码

Unicode 使用UTF-16编码

现在看下UTF-8的输入流数据：

byte[] a = new byte[]{(byte) 0xc6, (byte) 0xd0};

在看下内存：

底层在从前往后解析数据时，发现0b11000110, 0b11010000不符合UTF-8的规范:

也就是第二个字节应该是10开头，但是我们的输入第二个字节是110开头，故只能解码成0xFFFD这个Unicode，然后这个需要用UTF-16编码存放在内存中，最后我们看到了两个0xFFFD。

接下来b数组里面的数据是两个0xFFFD经过UTF-16解码成Unicode数字，然后用UTF-8编码后的数据。这个转化过程照着上面的转换表格做就可以完成，算一次印象会深刻很多。

总结

//UTF-8字节流
byte[] a = new byte[]{(byte) 0xc6, (byte) 0xd0};
//解码成字符char, JVM内部采用UTF-16编码存储字符
String s = new String(a);
//UTF-16字节流编码成UTF-8字节流输出
byte[] b = s.getBytes();

三行代码对数据做了以下事情：

1. UTF-8输入流到Unicode数字的解码
2. Unicode到UTF-16的编码
3. UTF-16输入流到Unicode数字的解码
4. Unicode到UTF-8的编码的输出流

综上，Unicode是个数，可以用UTF-8/UTF-16编码传输，占用流量/空间少，需要有输入、输出流的概念，以流的思考方式去处理数据

参考

• Unicode FFFD
• java-modified-utf-8-encoding
• modified-utf-8
• getting-true-utf-8-characters-in-java-jni
• UTF-8 Unicode UTF-16转换原理