转余晟老师的正则专栏文章:(二)Unicode诸问题(上)

　　关于正则表达式的文档很多，但大部分都是英文的，即便有中文的文档，也翻译或改编自英文文档。在介绍功能时，这样做没有大问题，但真要处理文本，就 可能会遇到一些英文开发或应用环境中难得见到的问题。比如中文之类多字节字符的匹配，就是如此。所以，这篇文章专门谈谈正则表达式如何处理多字节字符，更 准确地说，是如何处理Unicode编码的文本（为什么只提到Unicode编码，而没有提到其它编码，理由在后面详述）。
　　首先介绍关于编码的基础知识：
　　通常来说，英文编码较为统一，往往采用ascii编码或兼容ascii的编码（即编码表的前127位与ascii编码一致，常用的各种编码，包括 Unicode编码都是如此）。也就是说，英文字母、阿拉伯数字和英文的各种符号，在不同编码下的表示是一样的，比如字母A，其编码总是41，常见的编码 中，英文字符和半角标点符号的编码都等于ascii编码，通常只用一个字节表示。
　　但是中文的情况则不同，常见的中文编码有GBK（CP936）和Unicode两种，同一个中文字符在不同编码下的值并不相同，比如"发" 字，GBK编码的值为b7 a2，用两个字节表示；而Unicode编码的值（也就是代码点，Code Point）为53 d1。如果用UTF-8编码保存，需要3个字节（e5 8f 91）；用UTF-16编码保存，需要4个字节（53 d1）。
　　正因为中文字符需要多个字节来表示，常见的正则表达式的文档就有可能无法覆盖这种情况。比如常见的资料都说，点号『.』可以匹配"除换行符\n之外的任意字符 "，但这可能只适用于"单字节字符 "，因为点号匹配的其实只是"除换行符\n之外的任意字节 "而已。不信，我们可以来试试看（以下例子中，程序均使用UTF-8编码）： 之所以会出现这种情况，是因为正则表达式无法正确将多个字节识别为"单个字符"，让点号『.』能正确匹配。不过在Python 3.x、Java、.NET和Ruby 1.9中，字符串默认都是采用Unicode编码，所以不存在上面的问题。如果你使用的是Python 2.x、Ruby 1.8或PHP，也可以显式指定采用Unicode模式。 如果你细心就会发现，在Python 2.x中，我们指定的字符串使用Unicode编码，而文档里说了，正则表达式也可以指定Unicode模式的；相反，在PHP和Ruby中，我们指定正则表达式使用Unicode编码，而字符串并没有指定。这到底是怎么回事呢？
　　我们知道，正则表达式的操作可以简要概括为"用正则表达式去匹配字符串"，它涉及两个对象：正则表达式和字符串。对字符串来说，如果没有设定 Unicode模式，则多字节字符很可能会拆开为多个单字节字符对待（虽然它们并不是合法的ascii字符），Python 2.x中就是如此，"发"字在没有设定Unicode编码时，变成了3个单字节字符构成的字符串，点号『.』只能匹配其中的单个"字符"。如果显式将正则 表达式设定为Unicode字符串（也就是在 u'发' ），则"发"字视为单个字符，点号可以匹配。
　　而且，如果你在正则表达式的字符组里使用了中文字符，表示正则表达式的字符串，也应该设定为Unicode字符串，否则正则表达式会认为字符组里不是单个字符，而是3个单字节字符： 另一方面，在PHP和Ruby中并不存在"Unicode字符串"，所以我们无法修改字符串的属性。但是，设定正则表达式为Unicode模式，正 则表达式也可以正确识别字符串中的Unicode字符。所以，如果你用PHP或Ruby的正则表达式处理Unicode字符串，一定不要忘记指定 Unicode模式。
　　点号『.』对Unicode字符的匹配"我"（采用UTF-8编码） 字符串 正则表达式 语言 是否显式指定Unicode模式 可否匹配 我 ^.$ Java 否（无须指定） 可以 ^.$ JavaScript 否（无法指定） 由浏览器的实现决定 /^.$/ PHP 否 不可以 /^.$/u PHP 是 可以 /^.$/ Ruby 1.8 否 不可以 /^.$/u Ruby 1.8 是 可以 /^.$/ Ruby 1.9 否 可以 ^.$ .NET 否 可以 ^.$ Python 2.x 否 不可以 ^.$ Python 3 否 可以 注：PHP和Ruby的正则表达式本身是不包含分隔符（分隔符可以有很多种，常见的是反斜线/）的，但PHP指定Unicode模式必须在后一个分隔符之后写u，所以在这里将分隔符也写出来。
　　不过，如果你熟悉Python语言，会发现Python也可以指定正则表达式使用Unicode模式，这又是怎么回事呢？
　　不妨回头仔细想想你读过的文档，正则表达式中的『\d』和『\w』，都是如何解释的？或许你的第一反应是：『\d』等价于『[0-9]』，『\w』等价于『[0-9a-zA-Z_]』。因为有些文档说明了这种等价关系，有些文档却说：『\d』匹配数字字符 ，『\w』匹配单词字符 。 然而这只是针对ascii编码的规定，在Unicode编码中，全角数字０、１、２之类，应该也可以算"数字字符"，由『\d』匹配；中文的字符，应该也 可以算"单词字符"，由『\w』匹配；同样的道理，中文的全角空格，应该也可以算作"空白字符"，由『\s』匹配。所以，如果你在Python中指定了正 则表达式使用，『\d』、『\w』、『\s』就能匹配全角数字、中文字符、全角空格。 老实说，这样的规定有时候确实让人抓狂，假设你希望用正则表达式『\d{6,12}』来验证一个长度在6到12之间的数字字符串，却没留意『\d』能匹配全角数字，验证就不够严密了。
　　下面的表格列出了常见语言中的匹配规定 语言 『\w』『\d』『\s』的匹配规则 Java 均只能匹配ascii字符 JavaScript 均只能匹配ascii字符 PHP 均只能匹配ascii字符 Ruby 1.8 默认情况下只能匹配ascii字符，Unicode模式只影响『\w』的匹配 Ruby 1.9 均可以识别Unicode字符 .NET 均可以识别Unicode字符 Python 2.x 默认情况下只能匹配ascii字符，Unicode模式下均可以识别Unicode字符 Python 3 默认情况下均可以识别Unicode字符，但可以显式指定ascii 注1：一般来说，单词边界『\b』能匹配的位置是：一端是『\w』，一端不是『\w』（也可以什么都没有），其中『\w』的规定与『\w』一样，但Java中则不是这样，细节比较复杂，这里不展开，有兴趣的读者可以自己试验。
　　注2：在Python 3中可以在表达式之前添加『(?a)』指定ascii模式。
　　虽然常见的中文字符编码有GBK和Unicode两种，但如果需要使用正则表达式处理中文，我强烈推荐使用Unicode字符，不仅是因为正则表达 式提供了对Unicode的现成支持，而且因为GBK编码可能会有其它问题。比如：我们要求匹配"收"字或者"发"字，很自然会想到使用字符组『[收发]』，这思路是对的，但如果采用GBK编码，正则引擎见到的很可能不是"两个字符构成的字符组"，而是"四个字节构成的字符组"。
　　使用GBK编码，[收发]的解释『cad5b7a2 』
　　如果我们用『[收发]』来匹配字符"罚"（它的GBK编码是b7 a3），就会产生错误--虽然"罚"字既不等于"收"也不等于"发"，但"罚"和『[收发]』却可以匹配一个字节
　　GBK编码的情况
　　罚 b7a3
　　[收发] cad5b7a2
　　Unicode编码的情况（因为Unicode编码能正确识别，无论采用UTF-8还是UTF-16，Unicode字符都会正确转化为Unicode编码点）
　　罚 7f5a
　　[收发] 653653d1
　　"罚"的Unicode编码是7f5a，无论如何也不会发生错误匹配。
　　如果出于某些限制，只能使用GBK编码，也有一个偏方准确保证『[收发]』的匹配，就是把字符组『[收发]』改成多选分支『(收|发)』。此时如果要匹配成功，只能是两个连续的字节cad5 或者b7a2 ，而"罚"字两个字节为b7a3 ，无法匹配。
　　但这样也会有问题，因为在GBK编码下字符串被当作"字节序列"来对待。比如字符串 "账珍"对应四个字节，d5cad5e4 ，其中正好出现了"收"字对应的两个字节cad5 ，正则表达式就可能在此处匹配成功。
　　更重要的问题在于排除型字符组的匹配，仍然使用上面的例子，假如我们希望匹配一个"收"和"罚"之外的字符，自然的思路就是使用排除型字符组『[^收发]』。但是通过上面的讲解，我们已经知道，这样"排除"的并不是2个字符，而是4个字节：cad5b7a2 。但"罚"字的GBK编码为b7a3 ，b7 这个字节被"排除"了，所以正则表达式会显示"罚"字不能由『[^收发]』匹配，这完全违背了我们的本意。
　　总的来说，所以如果使用GBK编码（或者说非Unicode编码），对此类问题基本是无解的。因此，根本的办法还是使用Unicode编码。