utf-16 java_Java、Unicode、UTF-8、UTF-16之间的关系

字符集

世界上有很多文字，比如中文，英文，韩文，，阿拉伯文等。每种语言的字符形状各异，中文有自己的字符集合，英文有自己的字符集合。而Unicode字符集，则包含了绝大多数字符集，是一种通用字符集(Universal Character Set, UCS)。

在表示一个Unicode的字符时，通常会用“U+”然后紧接着一组十六进制的数字来表示这一个字符。例如“U+0041”代表字符“A”

Unicode字符集包含了两个方面的内容：字符的编码和编码的实现方式。

字符编码

通俗点说，就是给每个字符分配一个编号，比如前面提到的字母“A”，它的编号就是41，即U+0041,而汉字“朱”的编号就是6731，即U+6731

Unicode的编码空间从U+0000到U+10FFFF，共有1,112,064个码位(code point)可用来映射字符. Unicode的编码空间可以划分为17个平面(plane)，每个平面包含65,536个码位。17个平面的码位可表示为从U+xx0000到U+xxFFFF，其中xx表示十六进制值从00到10，共计17个平面。第一个平面称为基本多语言平面(Basic Multilingual Plane, BMP)，或称第零平面(Plane 0)。其他平面称为辅助平面(Supplementary Planes)。

基本多语言平面内，从U+D800到U+DFFF之间的码位区块是永久保留不映射到Unicode字符。

UTF-16就利用保留下来的0xD800-0xDFFF区段的码位来对辅助平面的字符的码位进行编码。也就是说，在你的程序里只要判断一个字符是否属于这个范围内，就可以知道这个字符是应该被当做一个独立的Unicode基本字符处理，还是当做半个扩展Unicode字符。比如\uD83D\uDE18，这就是一个emoji表情，是一个字符，虽然有两个\u

编码的具体实现方式

Unicode只是字符集合，虽然为每个字符分配了一个唯一的编号(一个整数值)，在传输和存储的时候，却有很多方式去表示这个整数值。

Unicode字符集规定的标准编码方案是UCS-2(UTF-16)，用两个字节表示一个Unicode字符(UTF-16中两个字节的为基本多语言平面字符，4个字节的为辅助平面字符)。而UCS-4(UTF-32)用4个字节表示一个Unicode字符。另外一个常用的Unicode编码方案–UTF-8用1到4个变长字节来表示一个Unicode字符，并可以从一个简单的转换算法从UTF-16直接得到。所以在使用Unicode字符集时有多种编码方案，分别用于合适的场景。

JVM规范中明确说明了java的char类型使用的编码方案是UTF-16。

比如，汉字"严"的unicode代码是U+4E25，转换成二进制数是100111000100101，有15位，需要2个字节去表示。对于基本平面中的字符，unicode代码和UTF-16编码是一样的，都是用两个字节来表示，因此汉子“严”的UTF-16编码可以表示为\u4e25

Java中一个字符到底占几个字节

这是一个容易让人迷惑的问题，举个例子

String str = "严";

System.out.println("str="+str);

System.out.println("str len=" + str.length());

System.out.println("str getBytes=" + str.getBytes().length+" HEX="+bytes2HexString(str.getBytes()));

System.out.println("str getBytes UTF-8=" + str.getBytes("UTF-8").length+" HEX="+bytes2HexString(str.getBytes("UTF-8")));

System.out.println("str getBytes UTF-16=" + str.getBytes("UTF-16").length+" HEX="+bytes2HexString(str.getBytes("UTF-16")));

System.out.println("str getBytes UTF-16BE=" + str.getBytes("UTF-16BE").length+" HEX="+bytes2HexString(str.getBytes("UTF-16BE")));

System.out.println("str getBytes UTF-16LE=" + str.getBytes("UTF-16LE").length+" HEX="+bytes2HexString(str.getBytes("UTF-16LE")));

System.out.println("str getBytes Unicode=" + str.getBytes("Unicode").length+" HEX="+bytes2HexString(str.getBytes("Unicode")));

运行结果：

str=严

str len=1

str getBytes=3 HEX=E4 B8 A5

str getBytes UTF-8=3 HEX=E4 B8 A5

str getBytes UTF-16=4 HEX=FE FF 4E 25

str getBytes UTF-16BE=2 HEX=4E 25

str getBytes UTF-16LE=2 HEX=25 4E

str getBytes Unicode=4 HEX=FE FF 4E 25

可以看出，“严”这个字符串的长度是1，如果是UTF-8编码，需要3个字节来表示，getBytes()方法默认返回了UTF-8编码的字节。

如果是UTF-16编码，居然需要4个字节，前两个字节时FEFF，后两位才是4E25,这是因为UTF-16以两个字节为编码单元，要考虑字节序，所以使用BOM(Byte Order Mark)来标志字节序: FEFF or FFFE.

FEFF: Big Endian

FFEF: Little Endian

而我们直接指定了字节序后，就只需要2个字节了

把str字符串设置为“A”,再次运行程序，得到结果如下

str=A

str len=1

str getBytes=1 HEX=41

str getBytes UTF-8=1 HEX=41

str getBytes UTF-16=4 HEX=FE FF 00 41

str getBytes UTF-16BE=2 HEX=00 41

str getBytes UTF-16LE=2 HEX=41 00

str getBytes Unicode=4 HEX=FE FF 00 41

可以看出，如果都用UTF-16编码，是比较浪费字节的，如果不指定字节序，需要4个字节，指定了字节序也需要2个字节。而用变长的UTF-8来表示，则只需要一个字节。

再举个例子，将str字符串设置为“你s👦”,其中“你”是中文，“s”是英文，“👦”是个emoji表情，它的Unicode编码是U+1F466，转换成UTF-16表示是“\ud83d\udc66”，因此这个字符串也等价于“你s\ud83d\udc66”

str=你s👦

str len=4

str getBytes=8 HEX=E4 BD A0 73 F0 9F 91 A6

str getBytes UTF-8=8 HEX=E4 BD A0 73 F0 9F 91 A6

str getBytes UTF-16=10 HEX=FE FF 4F 60 00 73 D8 3D DC 66

str getBytes UTF-16BE=8 HEX=4F 60 00 73 D8 3D DC 66

str getBytes UTF-16LE=8 HEX=60 4F 73 00 3D D8 66 DC

str getBytes Unicode=10 HEX=FE FF 4F 60 00 73 D8 3D DC 66

这个字符串只有3个unicode字符(java里也叫3个代码点 code point)，但是字符串长度是4(java里也叫有4个代码单元，1个代码单元其实就是2个字节，一般一个代码点可由一个代码单元表示，特殊字符比如emoji需要两个代码单元)

至于怎么把一个代码点U+1F466转换成UTF-16的编码方式\ud83d\udc66，可以参考wiki文档