关于代码点和代码单元的一些问题

在Java字符串处理时，在使用length和charAt方法时，应该格外小心，因为length返回的是UTF-16编码表示下的代码单元数量，而非我们所认为的字符的个数，charAt方法返回的是指定位置处的代码单元，而非我们所认为的字符。

至于为什么都是“代码单元”而非字符，这和Unicode字符集的增补相关，具体的参看下面的附录。

要想获得字符串中的字符的个数，应当使用aString.codePointCount(0, aString.length())；要想获得指定位置处的字符，使用aString.codePointAt(i);需要注意codePointAt的返回值，是int而非char。

枚举字符串的正确方法：

 

for (int i = 0; i < aString.length();) {
int character = aString.codePointAt(i);
if (Character.isSupplementaryCodePoint(character)) i += 2;
else ++i;
}

将codePoint转换为char[]可调用Character.toChars方法，然后可进一步转换为字符串：

String s(Character.toChars(codePoint));

 

附录A：

《Java核心技术》中关于字符和字符串的讲解：

 

3.3.3 char类型

 

    char类型用于表示单个字符。通常用来表示字符常量。例如：'A'是编码为65所对应的字符常量。与"A"不同，"A"是一个包含字符A的字符串。Unicode编码单元可以表示为十六进制值，其范围从\u0000到\uffff。例如：。\u2122表示注册符号，\u03C0表示希腊字母π。

    除了可以采用转义序列符\u表示Unicode代码单元的编码之外，还有一些用于表示特殊字符的转义序列符，请参看表3-3。所有这些转义序列符都可以出现在字符常量或字符串的引号内。例如，'\u2122'或"Hello\n"。转义序列符\u还可以出现在字符常量或字符串的引号之外（而其他所有转义序列不可以）。例如：

    public static void main(String\u005B\u005D args)

    这种形式完全符合语法规则，\u005B和\u005D是[和]的编码。

表3-3 特殊字符的转义序列符

转义序列	名称	Unicode值
\b	退格	\u0008
\t	制表	\u0009
\n	换行	\u000a
\r	回车	\u000d
\"	双引号	\u0022
\'	单引号	\u0027
\\	反斜杠	\u005c

    要想弄清char类型，就必须了解Unicode编码表。Unicode打破了传统字符编码方法的限制。在Unicode出现之前，已经有许多种不同的标准：美国的ASCII、西欧语言中的ISO 8859-1、俄国的KOI-8、中国的GB118030和BIG-5等等，这样就产生了下面两个问题：一个是对于任意给定的代码值，在不同的编码方案下有可能对应不同的字母；二是采用大字符集的语言其编码长度有可能不同。例如，有些常用的字符采用单字节编码，而另一些字符则需要两个或更多个字节。

    设计Unicode编码的目的就是要解决这些问题。在20世纪80年代开始启动设计工作时，人们认为两个字节的代码宽度足以能够对世界上各种语言的所有字符进行编码，并有足够的空间留给未来的扩展。在1991年发布了Unicode 1.0，当时仅占用65 536个代码值中不到一半的部分。在设计Java时决定采用16位的Unicode字符集，这样会比使用8位字符集的程序设计语言有很大的改进。

    十分遗憾，经过一段时间，不可避免的事情发生了。Unicode字符超过了65 536个，其主要原因是增加了大量的汉语、日语和韩国语言中的表意文字。现在，16位的char类型已经不能满足描述所有Unicode字符的需要了。

    下面利用一些专用术语解释一下Java语言解决这个问题的基本方法。从JDK 5.0开始，代码点（code point）是指与一个编码表中的某个字符对应的代码值。在Unicode标准中，代码点采用十六进制书写，并加上前缀U+，例如U+0041就是字母A的代码点。Unicode代码点可以分成17个代码级别（code plane）。第一个代码级别称为基本的多语言组别（basic multilingual plane），代码点从U+0000到U+FFFF，其中包栝了经典的Unicode代码。其余的16个附加级别，代码点从U+10000到U+10FFFF，其中包栝了一些辅助字符（supplementarycharacter）。

    UTF-16编码采用不同长度的编码表示所有Unicode代码点。在基本的多语言级别中，每个字符用16位表示，通常被称为代码单元（code unit）；而辅助字符采用对连续的代码单元进行编码。这样构成的编码值一定落入基本的多语言级别中空闲的2048字节内，通常被称为替代区域（surrogate area）[U+D800～U+DBFF用于第一个代码单元，U+DC00〜U+DFFF用于第二个代码单元]。这样设计十分巧妙，我们可以从中迅速地知道一个代码单元是一个字符的编码，还是一个辅助字符的第一或第二部分。例如，对于整数集合的数学符号，它的代码点是U+1D568，并且是用两个代码单元U+D835和U+DD68编码的（存关编码算法的描述请参看http://en.wikipe-dia.org/wiki/UTF-16）。

    在Java中，char类型用UTF-16编码描述一个代码单元。

    我们强烈建议不要在程序中使用char类型，除非确实需要对UTF-16代码单元进行操作。最好将需要处理的字符串用抽象数据类型表示（有关这方面的内容将在稍后讨论）。

 

3.6.6 代码点与代码单元

 

    Java字符串由char序列组成。从前面已经看到，字符数据类型是一个采用UTF-16编码表示Unicode代码点的代码单元。大多数的常用Unicode字符使用一个代码单元就可以表示，而辅助字符需要一对代码单元表示。

    length方法将返回采用UTF-16编码表示的给定字符串所需要的代码单元数量。例如：

        Stringgreeting = "Hello";

        int n = greeting.length();// is 5

    要想得到实际的长度，即代码点数量，可以调用：

        int cpCount =greeting.codePointCount(0, greeting.length());

    调用s.charAt(n)将返回位置n的代码单元，n介于0~s.length()-1之间。例如：

        char first =greeting.charAt(0); // first is 'H'

        char last =greeting.charAt(4); // last is 'o'

    要想得到第i个代码点，应该使用下列语句

        int index =greeting.offsetByCodePoints(0, i);

        int cp =greeting.codePointAt(index);

    注释：Java以独特的风格对字符串中的代码单元计数：字符串中的第一个代码单元位置为0。这种习愤起源于C，这样处理主要出于技术上的原因。具体理由似乎已经淡忘，而麻烦却保留了下来。但是，许多程序员习惯于这种风格，因而Java设计者也就将其保留了下来。

    为什么会对代码单元如此大惊小怪？请考虑下列语句：

    Ƶis the set of integers

    使用UTF-16编码表示Ƶ需要两个代码单元。调用char ch =sentence.charAt(1);返回的不是空格，而是第二个代码单元Z。为了避免这种情况的发生，请不要使用char类型。这太低级了。

    如果想要遍历一个字符串，并且依次査看每一个代码点，可以使用下列语句：

        int cp =sentence.codePointAt(i);

        if (Character.isSupplementaryCodePoint(cp))i += 2;

        else i++;

    非常幸运，codePointAt方法能够辨别一个代码单元是辅助字符的第一部分还是第二部分，并能够返回正确的结果。也就是说，可以使用下列语句实现回退操作：

        i--;

        int cp =sentence.codePointAt(i);

        if (Character.isSupplementaryCodePoint(cp))i--;

背景

    Unicode最初设计是作为一种固定宽度的16位字符编码。在Java编程语言中，基本数据类型char初衷是通过提供一种简单的、能够包含任何字符的数据类型来充分利用这种设计的优点。不过，现在看来，16位编码的所有65 536个字符并不能完全表示全世界所有正在使用或曾经使用的字符。于是，Unicode标准已扩展到包含多达1 112 064个字符。那些超出原来的16位限制的字符被称作增补字符。Unicode标准2.0版是第一个包含启用增补字符设计的版本，但是，直到3.1版才收入第一批增补字符集。由于J2SE的5.0版必须支持Unicode标准4.0版，因此它必须支持增补字符。

    对增补字符的支持也可能会成为东亚市场的一个普遍商业要求。政府应用程序会需要这些增补字符，以正确表示一些包含罕见中文字符的姓名。出版应用程序可能会需要这些增补字符，以表示所有的古代字符和变体字符。中国政府要求支持GB18030（一种对整个Unicode字符集进行编码的字符编码标准），因此，如果是Unicode 3.1版或更新版本，则将包括增补字符。台湾标准CNS-11643包含的许多字符在Unicode 3.1中列为增补字符。香港政府定义了一种针对粤语的字符集，其中的一些字符是Unicode中的增补字符。最后，日本的一些供应商正计划利用增补字符空间中大量的专用空间收入50 000多个日文汉字字符变体，以便从其专有系统迁移至基于Java平台的解决方案。

    因此，Java平台不仅需要支持增补字符，而且必须使应用程序能够方便地做到这一点。由于增补字符打破了Java编程语言的基础设计构想，而且可能要求对编程模型进行根本性的修改，因此，Java Community Process召集了一个专家组，以期找到一个适当的解决方案。该小组被称为JSR-204专家组，使用Unicode增补字符支持的Java技术规范请求的编号。从技术上来说，该专家组的决定仅适用于J2SE平台，但是由于Java2平台企业版（J2EE）处于J2SE平台的最上层，因此它可以直接受益，我们期望Java2平台袖珍版（J2ME）的配置也采用相同的设计方法。

    不过，在了解JSR-204专家组确定的解决方案之前，我们需要先理解一些术语。

代码点、字符编码方案、UTF-16：这些是指什么？

    不幸的是，引入增补字符使字符模型变得更加复杂了。在过去，我们可以简单地说“字符”，在一个基于Unicode的环境（例如Java平台）中，假定字符有16位，而现在我们需要更多的术语。我们会尽量介绍得相对简单一些—如需了解所有详细的讨论信息，您可以阅读Unicode标准第2章或Unicode技术报告17“字符编码模型”。Unicode专业人士可略过所有介绍直接参阅本部分中的最后定义。

    字符是抽象的最小文本单位。它没有固定的形状（可能是一个字形），而且没有值。“A”是一个字符，“€”（德国、法国和许多其他欧洲国家通用货币的标志）也是一个字符。

    字符集是字符的集合。例如，汉字字符是中国人最先发明的字符，在中文、日文、韩文和越南文的书写中使用。

    编码字符集是一个字符集，它为每一个字符分配一个唯一数字。Unicode标准的核心是一个编码字符集，字母“A”的编码为0041和字符“€”的编码为20AC。Unicode标准始终使用十六进制数字，而且在书写时在前面加上前缀“U+”，所以“A”的编码书写为“U+0041”。

    代码点是指可用于编码字符集的数字。编码字符集定义一个有效的代码点范围，但是并不一定将字符分配给所有这些代码点。有效的Unicode代码点范围是U+0000至U+10FFFF。Unicode 4.0将字符分配给一百多万个代码点中的96 382代码点。

    增补字符是代码点在U+10000至U+10FFFF范围之间的字符，也就是那些使用原始的Unicode的16位设计无法表示的字符。从U+0000至U+FFFF之间的字符集有时候被称为基本多语言面（BMP）。因此，每一个Unicode字符要么属于BMP，要么属于增补字符。

    字符编码方案是从一个或多个编码字符集到一个或多个固定宽度代码单元序列的映射。最常用的代码单元是字节，但是16位或32位整数也可用于内部处理。UTF-32、UTF-16和UTF-8是Unicode标准的编码字符集的字符编码方案。

    UTF-32即将每一个Unicode代码点表示为相同值的32位整数。很明显，它是内部处理最方便的表达方式，但是，如果作为一般字符串表达方式，则要消耗更多的内存。

    UTF-16使用一个或两个未分配的16位代码单元的序列对Unicode代码点进行编码。值U+0000至U+FFFF编码为一个相同值的16位单元。增补字符编码为两个代码单元，第一个单元来自于高代理范围（U+D800至U+DBFF），第二个单元来自于低代理范围（U+DC00至U+DFFF）。这在概念上可能看起来类似于多字节编码，但是其中有一个重要区别：值U+D800至U+DFFF保留用于UTF-16；没有这些值分配字符作为代码点。这意味着，对于一个字符串中的每个单独的代码单元，软件可以识别是否该代码单元表示某个单单元字符，或者是否该代码单元是某个双单元字符的第一个或第二单元。这相当于某些传统的多字节字符编码来说是一个显著的改进，在传统的多字节字符编码中，字节值0x41既可能表示字母“A”，也可能是一个双字节字符的第二个字节。

    UTF-8使用一至四个字节的序列对编码Unicode代码点进行编码。U+0000至U+007F使用一个字节编码，U+0080至U+07FF使用两个字节，U+0800至U+FFFF使用三个字节，而U+10000至U+10FFFF使用四个字节。UTF-8设计原理为：字节值0x00至0x7F始终表示代码点U+0000至U+007F（Basic Latin字符子集，它对应ASCII字符集）。这些字节值永远不会表示其他代码点，这一特性使UTF-8可以很方便地在软件中将特殊的含义赋予某些ASCII字符。