在一年级时,我们比较轻松的了解了Java ®ex(是正则表达式的缩写,与Java的包无关)的一些基本用法。一年级的主要任务是:
①搞了几个可运行的程序。后面要学习的东西,我们可以用相似的程序处理。
②我们找到了与regex相关的Java类——Pattern和Matcher、String、StringBuffer和StringTokenizer后面我们着重学习它们。
(另外,暂时不想去搞的几个咚咚——PatternSyntaxException、java.util.Scanner)。)。
③我们了解了regex的大致特点,一种生成字符串的字符串。不管它将会如何复杂,也不过是一个特殊的字符串,而已。
到了二年级,我们准备系统的学习,因而感到凝重起来。发现了一个超好的工具——Regulator,它是一个高级的、freeregex的测试和学习工具,它让你……到这里自己看,我去下载了,呵呵。
安装……问题?它需要一个什么.Net Framework!!!一个小小的工具要那个大大的Framework干嘛,偏偏前几天我重装了系统,晕。心中又对M$反感起来。【提供了其C#源代码。】
我又发现了一个超好的工具——EditPad Pro,它是一个高级的、freeregex的测试和学习工具,它让你……到这里自己看,我去下载了,呵呵。
问题是,它的regex flavor is almost identical to the one used in Perl 5。这使我有点不放心,因为Java在其Pattern文档中比较了与Perl 5的异同。
本来想系统学学Java& regex,可心中打着小鼓,情不自禁地脸黑黑了。【yqj2065提示:我想学习的与你想学习的可能不同。跳过你不喜欢的部分。】
全部2年级的主题:正则表达式语法
§1正则表达式:天使|魔鬼
通过一年级学习,我发现,两条腿走路很不爽,一下抬起Java,一下提起regex,我想一条腿走路。我蹦我蹦我蹦蹦,像三级跳远一样,专注于regex的学习。我们不要JVM,可能轻松了许多。
regular expression翻译成正则表达式,一看就是很有学问的样子。如果我说正则表达式起始于Java,没有人相信;如果有人说正则表达式起始于UNIX系统,我们也不要相信。
1956年,数学家在早期神经系统工作的基础上,搞成了一个数学符号体系——regular sets,规则的集合。这个咚咚很快被计算机科学家用于编译器的扫描或词法分析(lexical analysis)中。因此,正则表达式起始于自动机理论和形式语言理论(我们会在形式语言与自动机理论课程中接触正则表达式,属于理论计算机科学),我们在编译原理课程中,也可能会接触到正则表达式。【ref:《编译原理及实践》】
正则表达式强大的文本处理能力,很快被Kenneth Thompson应用到Unix的工具软件中;此后,正则表达式被广泛应用于Unix系操作系统,、PHP,Delphi、JavaScript、C#(.NET),Java、Python、Ruby等语言和开发环境,以及很多的应用软件特别是文本编辑器中。值得一提的是,Perl regular expressions形成了一种大致的标准,人们常常使用(Perl Compatible Regular Expressions),如同IBM兼容机。【
为什么Java直到JDK1.4才提供对regex的支持呢?这让很多人不满。在JDK1.4出现之前,有一些第三方库出现,现在可能不需要它了。例如:
lPackage com.stevesoft.pat【】,这里有一些有趣的东西还可以看看。比如ReGame, the regular expression game。
l源代码开放的正则表达式库:Jakarta-ORO正则表达式库,它是最全面的正则表达式API之一,而且它与Perl 5正则表达式完全兼容。直到现在,很多人还在学习和使用StringTokenizer,一方面是教材落后(滞后),一方面是很多人认为正则表达式麻烦,如果我们把它视为洪水猛兽,我们永远搞不懂它。其实,学习正则表达式的唯一困难,仅仅是它不直观。
§2正则表达式是定义语言的语言
自从XML为人们熟悉以来,定义语言的语言就不神秘了。直观地说,regex是生成字符串的字符串。这些由一个regex生成的字符串组成了一种语言。
正则表达式r完全由它所匹配的字符串集合(串集)来定义。这个集合称为由正则表达式生成的语言(language generated by the regular expression),可以写作L(r)——以r为模式的L。此处的语言只表示“串的集合”。如:
L(a)={a}
L(a+)={a,aa,aaa,aaaa,……}
该语言首先依赖于适用的字符集,一般是ASCII字符的集合或它的某个子集,Java则使用Unicode字符集,这个字符集是我们在正则表达式中能使用的字母表——∑。
正则表达式r的组成:
l字母表中的字符。要注意,此时L(a+)中的a不是简单的a,它是一个模式(模板)。
l有特殊含义的字符——元字符(meta-character)。它们可能也是字母表中正规字符,如* +等等,也可能不是字母表中字符,如\n,\x09等等。这时,我们通过转义字符(escape character)来处理。源代码中,对于前者,加一个\;对于后者,去掉\。
【下面的符号指集合的运算】
最小正则表达式有三种形式:
lL (a) = {a}。单一字符a。此时a可能是任何一个合法的字母表中的字符。如L (x) = {x}。
lL(ε) = {ε}。ε(epsilon)表示空串(empty string)——空串就是不包含任何字符的串。类似String str=””.
lL(Ф)= { }.Ф表示空集(empty set),该语言与任何串都不匹配。
注意{ε}和{ }的区别:{ }集不包括任何串,而{ }则包含一个串——没有任何字符的串。
正则表达式的三种基本运算:
l并集——用元字符|(竖线)表示。
如果r和s是正则表达式,那么正则表达式r| s可匹配被r或s匹配的任意串。r| s语言是r语言和s语言的联合(union)。
例如:L (a)={a}, L (c)={ c }则
L (a|c)= L (a)∪L (c)= {a}∪{ c }={a,c}.
又如:L (a|b|c|d) = { a, b, c, d}。
【并集在Java的正则表达式中,书写方式有:a|c、[ac]、a-z、等等】
l连结——不用元字符,顺着写就行了。
正则表达式r和正则表达式s的连结可写作rs。
这里说明一下括号()元字符的作用。正则表达式L (a b)={a b},L (c)={c},那么正则表达式L((a|b)c)= L (a|b)⊙ L(c)={ac,bc}
【连结书写方式有:a{2,4}等等】l重复或“闭包”——用元字符*表示。
r是一个正则表达式。正则表达式r *将匹配r串的任意有穷连结。虽然我们说L(a*)={ }∪{ a}∪{aa}∪{aaa}∪……={ε,a,aa,aaa,aaaa,……}是一个无穷集。
【闭包在Java的正则表达式中派生了一些书写方式:
L(a+)=L(a*)-ε即a+匹配a,aa,aaa,aaaa,……
L(a?) = L (ε|a). 即a?匹配ε、a。】
运算的优先和括号的使用
三种基本运算的优先级为闭包>连结>并集,除非使用()改变。
L(a|b*)={ a,ε,b, bb, bbb…… }
L((a|b)*) = {ε, a, b, aa, ab, ba, bb, …… },
定义正则表达式(regular expression)是以下的一种:
1.基本(b a s i c)正则表达式由一个单字符a(其中a在正规字符的字母表å中),以及元字符或元字符组成。在第1种情况下,L(a) = {a};在第2种情况下,L(ε) ={ε};在第3种情况下,L(Ф) = {}。
r和s均是正则表达式时:
2.r|s格式的表达式:L(r|s) = L(r)∪L(s)。
3.rs格式的表达式:L(r s) = L(r) L(s)。
4. r*格式的表达式:L(r*) = L(r) *。
5. (r)格式的表达式:L( (r)) = L(r),括号并不改变语言,它们只调整运算的优先权。
【这些东西,都是应该知道的基本知识哦。ref:《编译原理及实践》】
练习
2.1-1 在简单字母表∑ = {a, b, c}上构造一种语言,它是仅包括一个b的所有串的集合:如aaba、abcca等等。
答案:(a|c)*b(a|c)*
例如:String str=“abaaabcccbabaaaaabc”,匹配时替换为Java。则输出为:JavaJavaJavaJavaJava。为什么上面的匹配方式不是abaaabcccbabaaaaabc,因为存在所谓的最大匹配——贪婪匹配。
2.1-2 在字母表∑ ={a, b}上构造一种语言,串S的集合是由一个b及在其前后有相同数目的a组成:S= { b, aba, aabaa, aaabaaa, . . .}
答案:搞不定。正则表达式并不能描述这个集合。重复运算只有闭包运算*一种,但a*ba*能保证b 前后的a 的数量是否相等。它通常表示为“不能计算的正则表达式”——在自动机理论中的数学论证是著名的Pumping lemma定理。