有限状态自动机java实现_用java开发编译器之:Thompson构造,将正则表达式转换为有限状态自动机...

本文介绍了如何使用Thompson构造法将正则表达式转换为非确定性有限状态自动机(NFA),并讨论了DFA和NFA的区别。通过示例展示了从简单字符匹配到复杂表达式的NFA构造过程。
摘要由CSDN通过智能技术生成

阅读博客的朋友可以到我的网易云课堂中,通过视频的方式查看代码的调试和执行过程:

上一节,我们通过代码,实现了一个有限状态自动机,并将其应用于对整形和浮点数的识别。构造有限状态自动机,并驱动它,从而实现对输入字符串的识别,整个过程就是词法分析的本质。

上一节所开发的状态机,基于以下模型:

e268e622f14eaaa7bd986f0c938ab8c4.png

这个模型,是我们在代码中,手动写入程序的。实则上,它对应着一组正则表达式:

D       [0-9]  表示0-9的字符类

{D}+    表示由 0-9 构成的整形数值

({D}+ | {D}*\. {D}+ | {D}+ \. {D}*)(e{D}+)?表示浮点数或科学计数法

其中{D}+ 对应着状态机中,由0到1,然后在1中自转这一流程。最后一个正则表达式,对应图中由状态0到状态2,或4的流程。

那么,问题来了,给定一个正则表达式,可否直接生成一个有限状态自动机呢?答案是肯定的,大多数正则表达式识别程序,基本上都是先将其转换为自动机,然后通过驱动自动机来识别输入的,将正则表达式转换为有限状态自动机将是我们这几节的重点。

有限状态自动机的分类

有限状态自动机,其实可以分成两类。第一类是我们上面给出的,叫做确定性有限状态自动机: Deterministic finite automaton 简称DFA. 确定性的状态机有一个特点,就是给定当前状态和输入字符,那么下一个状态就能被唯一确定。例如基于上图,在状态1时,接收到字符0-9,那下一个状态一定只能是1,如果接收到字符 . ,那下一个状态,就一定只能是2. 更严谨的说, DFA 是这样一种自动机,从给定状态出去的边都对应着一个确定的字符,同时,从一个状态出去的两条边,他们对应的字符必定是不同的。

对应于DFA, 另一种状态机叫非确定性有限状态机: Nondeterministic finite automaton, 即NFA. 在实践中,要想顺利的将正则表达式转换为自动机,需要NFA的帮助。NFA 的特点是,从一个状态出去的两条边,可以有相同的对应字符。或者它的边可以对应一种特殊的字符叫”空”字符,该字符对应的符号是: ?.这种边表示,不需要任何输入,就可以从当前状态进入下一个状态。

举个例子,表达式(and | any) , 它对应的DFA如下:

adef2f164ffbf6826403093fcd120e5c.png

它对应的NFA 如下:

从初始状态开始,分化出两条边,两条边对应的字符是一样的

b5f75fbecba9cf0e1d4314602596ff49.png

或者:

从初始状态分化两条对应字符为空字符的边,然后分别进入两个对应的状态机

11808ecdd0df321dd789c7c91204451c.png

第二种NFA在程序设计中容易实现,因此,在下一节的代码中,我们将采用第二种NFA的实现模式。

NFA有一个明显的弱点就是,在代码设计中,很难用数据结构来对它进行表示。特别是,当对应于一个输入字符,NFA可以跳转到多个状态,那么,要想利用NFA去识别输入字符串就比较困难。一般而言,使用NFA的程序都需要经过下两个步骤:将正则表达式转换为NFA, 将NFA转换为DFA. 在后面的讨论中,我们将通过代码来展示这两种转换.

Thompson 构造法

将正则表达式转换为NFA的算法是由贝尔实验室的Ken Thompson 给出的,这哥们跟丹尼斯.里奇共同开发了Unix, 而他开发了C语言的前身 B 语言。

他的算法如下:

最简单的正则表达式是单字符匹配,例如a 匹配输入字符”a”, 那么该表达式的NFA 构造如下:

682604f043c44ced4e9e43d4cfe83639.png

那么,两个这样的正则表达式合成的连接表达式ab 可以表示如下:

b954bdf2e9d3e816f1947e79f2b227a4.png

实际上,它是先分别构造出两个表达式的NFA, 然后通过一条?边,将两个NFA首尾连接起来。

下面我们看看,两个表达式进行 OR 操作的时候 | ,NFA怎么构造,构造图如下:

e27d4f4569da71b02cd567cc4563c83a.png

要构造两个表达式的或操作: exp1 | exp2, 根据图示,首先分别构造两个表达式exp1 , exp2 各自的NFA: NFA1(上头虚线框), NFA2(下头虚线框), 然后再构造两个状态,初始状态(开头圆圈节点),和结束状态(末尾圆圈节点),初始状态延生处两条 ? 边,分别指向NFA1 和 NFA2 的开头,然后NFA1 和 NFA2的结尾各自延生出一条?边,分别共同指向结束状态。

我们再看看 a | b 的NFA图:

0db65b010d04dea657f76539cccc1b0d.png

其原理跟前面所描述的是一样的。上头虚线框是表达式 a 的NFA, 下头虚线框是表达式 b 的NFA. 两个NFA的连接跟前面描述的一模一样

如果表达式是( (a|b) | cd) 呢,算法也同理,先构造 a | b 的NFA图,然后构造cd的NFA图。最后根据前面所说的办法,再将两个NFA连接起来:

上头大虚线框是 (a|d) 的NFA, 下头长匾虚线框是 cd的NFA. 然后首尾通过两个状态节点和ε边连接起来。

0db65b010d04dea657f76539cccc1b0d.png

大家可以看到, Thompson构造算法其实是一个自我递归的过程

我们再看看相应的闭包操作的构造过程:

exp*的NFA:

如果是自我从复0次,那直接从下面的边走到末尾节点。

c15ca71acb0e041bf353bbe8897c6eb3.png

exp+(至少重复一次) 的NFA:

5fa9b6bbc9b9d76de24e52f6891a632b.png

exp?(重复0或1次)的NFA:

bf660a30b813ae56eac82a7a7b3be1ba.png

任何复杂的正则表达式它的NFA的构造都是上面几种构造的组合, 例如表达式

(D*\.D| D\.D*)

构造算法如下:

1.  构造 D 的NFA:

36599b323c57639ed1197cf140a20cd7.png

2.  构造 D*:

fa33c95984e6774c0a2ebf73799ea077.png

3.  构造 D*\.D (由于.在正则表达式中是特殊字符,如果要仅仅想要表达它的符号内容,要在前面加上反斜杠做转义):

. 号的前部分是D*, 后部分是 D 的NFA.

8f2e77b9dcf60d79671e29b4c5fbc16a.png

4.  构造 D\.D*, 该表达式的NFA其实就是将上图 . 后面的部分挪到开头。

5.  根据OR 的构造法, 构造整个表达式 (D*\.D | D\.D*)的NFA:

上头是 D*\.D 的NFA, 下头是 D\.D*的NFA

8fd16f7a20893c9b6ab7b83b0aacb328.png

再复杂的表达式的NFA的构造,都是几种基础构造的重复组合运用。

我们这一节对概念和算法的介绍就到这里,根据我的习性,下一节肯定就是上代码了。

原文:http://blog.csdn.net/tyler_download/article/details/51072362

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值