java码点_Java 码点与代码单元

1.先导概念

2.码点和代码单元

码点( code point) 是指与一个编码表中的某个字符对应的代码值。

在 Unicode 标准中，码点采用十六进制书写，并加上前缀 U+, 例如 U+0041 就是拉丁字母 A 的码点。Unicode 的码点可以分成 17 个代码级别( codeplane)。第一个代码级别称为基本的多语言级别( basicmultilingual plane ), 码点从 U+0000 到 U+FFFF, 其中包括经典的 Unicode 代码；其余的 16个级另丨〗码点从 U+10000 到 U+10FFFF , 其中包括一些辅助字符(supplementary character)。

UTF-16 编码采用不同长度的编码表示所有 Unicode 码点。在基本的多语言级别中，每个字符用 16 位表示，通常被称为代码单元( code unit)，而辅助字符采用一对连续的代码单元进行编码。

这样构成的编码值落人基本的多语言级别中空闲的 2048 字节内， 通常被称为替代区域(surrogate area) [ U+D800 ~ U+DBFF 用于第一个代码单兀，U+DC00 ~ U+DFFF 用于第二个代码单元 ]。这样设计十分巧妙，我们可以从中迅速地知道一个代码单元是一个字符的编码，还是一个辅助字符的第一或第二部分。例如，𝕆是八元数集(http://math.ucr.edu/home/baez/octonions) 的一个数学符号，码点为 U+1D546, 编码为两个代码单元U+D835 和 U+DD46。(关于编码算法的具体描述见 http://en.wikipedia.org/wiki/UTF-l6 )

在 Java 中，char 类型描述了 UTF-16 编码中的一个代码单元。

3.实例验证

\uD835\uDD46实际上就是𝕆，只是在String里直接显示为 16 进制

𝕆是作为一个辅助字符(两个代码单元)，因而字符串hello\uD835\uDD46码点为6，代码单元为7

/**

* \uD835\uDD46 = 𝕆

* 输出分别为：7、6

*/

private static void codePoints(){

String sentence = "hello\uD835\uDD46";

System.out.println(sentence.length());

System.out.println(sentence.codePointCount(0,sentence.length()));

}

测试输出对应的十六进制

/**

* \uD835\uDD46 = 𝕆

* 输出分别为：d835

* dd46

* 1d546

*/

private static void codePoints(){

String sentence = "\uD835\uDD46";

int length = sentence.length();

for(int i = 0; i < length; i++){

char c = sentence.charAt(i);

System.out.println(Integer.toHexString(c));

}

System.out.println(Integer.toHexString(sentence.codePointAt(0)));

}

4.相关 String 类 API

char charAt ( int index )

返回给定位置的代码单元。除非对底层的代码单元感兴趣， 否则不需要调用这个方法。

int codePointAt ( int index ) jdk5.0后加入

返回从给定位置开始的码点。

int offsetByCodePoints( int startlndex, int cpCount) jdk5.0后加入

返回从 startlndex 代码点开始，位移 cpCount 后的码点索引。

IntStream codePoints() jdk8后加入

将这个字符串的码点作为一个流返回。调用 toArray 将它们放在一个数组中

new String( int[ ] codePoints， int offset， int count) jdk5.0后加入

用数组中从 offset 开始的 count 个码点构造一个字符串。

int codePointCount( int startIndex， int endIndex ) jdk5.0后加入

返回 startlndex 和 endludex-1之间的代码点数量。没有配成对的代用字符将计入代码点。