参考资料:http://zh.wikipedia.org/wiki/UTF-8
UTF-8是一种针对Unicode的可变长度字符编码,也是一种前缀码。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须做少部分修改,即可继续使用。
UTF-8编码规律:
Char. number range | UTF-8 octet sequence
(hexadecimal) | (binary)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0020 0000-03FF FFFF | 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0400 0000 -7FFF FFFF| 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx10xxxxxx
编码规律:
(1)对于ASCII字符的编码使用一个字节进行编码,最高位为0.
(2)大于ASCII码的,就会有上面的第一字节的前几位表示该unicode字符的长度,比如110xxxxx,前三位告诉我们这是个2Byte的UNICODE字符;1110xxxx是个3Byte的unicode字符,依次类推;剩余字节的最高两位都为10;
(3)X位的填充,按照字符的unicode编码格式,从最低位开始依次往上填充,缺省的以0填充。
注:2003年11月UTF-8被RTF3629重新规范,只能使用原来Unicode定义的区域,U+0000到U+10FFFF。根据这些规范,以下字节值将无法出现在合法UTF-8串行中:
编码(二进制) | 编码(十六进制) | 注释 |
---|---|---|
1100000x | C0, C1 | 过长编码:双字节串行的头字节,但码点<= 127 |
1111111x | FE, FF | 无法达到:7或8字节串行的头字节 |
111110xx 1111110x | F8, F9, FA, FB, FC, FD | 被RFC 3629规范:5或6字节串行的头字节 |
11110101 1111011x | F5, F6, F7 | 被RFC 3629规范:码点超过10FFFF的头字节 |