自动机理论整理

利用有限自动机分析正则表达式

版权声明 ：可以任意转载，但转载时必须标明原作者charlee 、原始链接http://tech.idv2.com/2006/05/08/parse-regex-with-dfa/ 以及本声明。

程序编译的第一个阶段是词法分析 ，即把字节流识别为记号 （token ）流，提供给下一步的语法分析 过程。而识别记号的方法就是正则表达式的分析。本文介绍利用有限自动机 分析表达式的方法。

---

概念

记号

有字母表中的符号组成的有限长度的序列。记号s 的长度 记为|s| 。长度为0 的记号称为空记号 ，记为ε 。

有限自动机(Finite State Automaton)

为研究某种计算过程而抽象出的计算模型。拥有有限个状态，根据不同的输入每个状态可以迁移到其他的状态。

非确定有限自动机(Nondeterministic Finite Automaton)

简称NFA ，由以下元素组成：

1. 有限状态集合S ；

2. 有限输入符号的字母表Σ ；

3. 状态转移函数move ；

4. 开始状态 sSUB{0} ；

5. 结束状态集合F ，F ∈ S 。

自动机初始状态为sSUB{0} ，逐一读入输入字符串中的每一个字母，根据当前状态、读入的字母，由状态转移函数move 控制进入下一个状态。如果输入字符串读入结束时自动机的状态属于结束状态集合F ，则说明该自动机接受该字符串，否则为不接受。

确定有限自动机(Deterministic Finite Automaton)

简称DFA ，是NFA 的一种特例，有以下两条限制：

1. 对于空输入ε ，状态不发生迁移；

2. 某个状态对于每一种输入最多只有一种状态转移。

将正则表达式转换为NFA(Thompson 构造法)

算法

算法1 将正则表达式转换为NFA(Thompson 构造法)

输入 字母表Σ上的正则表达式r

输出 能够接受L(r) 的NFA N

方法 首先将构成r 的各个元素分解，对于每一个元素，按照下述规则1 和规则2 生成NFA 。 注意 ：如果r 中记号a 出现了多次，那么对于a 的每次出现都需要生成一个单独的NFA 。

之后依照正则表达式r 的文法规则，将生成的NFA 按照下述规则3 组合在一起。

规则1 对于空记号ε ，生成下面的NFA 。

 

 

 

规则2 对于Σ 的字母表中的元素a ，生成下面的NFA 。

 

 

规则3 令正则表达式s 和t 的NFA 分别为N(s) 和N(t) 。

 

a) 对于s|t ，按照以下的方式生成NFA N(s|t) 。

 

b) 对于st ，按照以下的方式生成NFA N(st) 。

 

 

c) 对于s* ，按照以下的方式生成NFA N(s*) 。

 

 

d) 对于(s) ，使用s 本身的NFA N(s) 。

性质

算法1 生成的NFA 能够正确地识别正则表达式，并且具有如下的性质：

1.                    N(r) 的状态数最多为r 中出现的记号和运算符的个数的2 倍。

2.                    N(r) 的开始状态和结束状态有且只有一个。

3.                    N(r) 的各个状态对于Σ 中的一个符号，或者拥有一个状态迁移，或者拥有最多两个ε 迁移。

示例

利用算法1 ，根据正则表达式 r=(a|b)*abb 可以生成以下的NFA 。

 

将NFA 转化为DFA

算法

使用以下的算法可以将NFA 转换成等价的DFA 。

算法2 将NFA 转化为DFA

输入 NFA N

输出 能够接受与N 相同语言的DFA D

方法 本算法生成D 对应的状态迁移表Dtran 。DFA 的各个状态为NFA 的状态集合，对于每一个输入符号，D 模拟N 中可能的状态迁移。

定义以下的操作。

操作	说明
ε-closure(s)	从NFA 的状态s 出发，仅通过ε 迁移能够到达的NFA 的状态集合
ε-closure(T)	从T 中包含的某个NFA 的状态s 出发，仅通过ε 迁移能够到达的NFA 的状态集合
move(T, a)	从T 中包含的某个NFA 的状态s 出发，通过输入符号a 迁移能够到达的NFA 的状态集合

令 Dstates 中仅包含ε-closure(s), 并设置状态为未标记;

while Dstates 中包含未标记的状态T do

begin

  标记T;

  for 各输入记号a do

  begin

    U := ε-closure(move(T, a));

    if U 不在Dstates 中 then

      将 U 追加到 Dstates 中，设置状态为未标记;

    Dtrans[T, a] := U;

  end

end

ε-closure(T) 的计算方法如下：

将T 中的所有状态入栈;

设置ε-closure(T) 的初始值为T;

while 栈非空 do

begin

  从栈顶取出元素t;

  for 从t 出发以ε为边能够到达的各个状态u do

    if u 不在ε-closure(T) 中 then

    begin

      将u 追加到ε-closure(T) 中;

      将u 入栈;

    end

end

示例

将上面生成的NFA 转化为DFA 。

最初，Dstates 内仅有ε-closure(0) = A = {0, 1, 2, 4, 7} 。然后对于状态A ，对于输入记号a ，计算 ε-closure(move(A, a)) = ε-closure (move ({0, 1, 2, 4, 7}, a)) = ε-closure ({3, 8}) = {1, 2, 3, 4, 6, 7, 8} ，即 B={1, 2, 3, 4, 6, 7, 8}, Dtran[A, a]=B 。对于状态A ，由输入记号b 能够到达的仅有4->5 ，因此 C = ε-closure ({5}) = {1, 2, 4, 5, 6, 7} ，即 Dtran[A, b] = C 。

以此类推，可得到以下的状态和Dtran 。

A = {0, 1, 2, 4, 7}          D = {1, 2, 4, 5, 6, 7, 9}

B = {1, 2, 3, 4, 6, 7, 8}    E = {1, 2, 4, 5, 6, 7, 10}

C = {1, 2, 4, 5, 6, 7}

状态	输入符号
	a	b
A	B	C
B	B	D
C	B	C
D	B	E
E	B	C

由此得出DFA 如下图所示。

 

NFA 和DFA 的效率

给定正则表达式r 和输入记号序列x ，判断r 是否能够接受x 。

使用NFA 的情况下，由正则表达式生成NFA 的时间复杂度为O(|r|) ，另外由于NFA 的状态数最多为r 的2 倍，因此空间复杂度为O(|r|) 。由NFA 判断是否接受x 时，时间复杂度为O(|r| ×|x|) 。因此，总体上处理时间与 r 、x 的长度之积成比例。这种处理方法在x 不是很长时十分有效。

如果使用DFA ，由于利用DFA 判断是否接受x 与状态数无关，因此时间复杂度为O(|x|) 。但是DFA 的状态数与正则表达式的长度呈指数关系。例如，正则表达式 (a|b)*a(a|b)(a|b)...(a|b) ，尾部有 n-1 个 (a-b) 的话， DFA 最小状态数也会超过 2SUP{n} 。

http://qkzz.net/magazine/1672-5913/2008/09/2537591.htm

1DFA 及DFA 的化简
　　 
　　定义1DFA 一个确定的有穷自动机M 是一个五元组,M=( K,Σ, f , S , Z), 其中:K 是一个有穷集, 其元素称为状态;Σ 是一个有穷字母表, 其元素称为输入符号;S ∈K, 称为初态;ZÌ K, 是终态集;f 是转换函数, 是K×Σ→K 上的映射,f(ki,a)=kj,(ki ∈K,kj ∈K) 表示状态ki, 输入符为a 时, 转换为状态kj 。
　　定义2 无用状态从自动机的开始状态出发, 任何输入串也不能到达的那个状态; 或者从这个状态没有通路到达终态的状态。
　　定义3 等价状态如果说两个状态s 和t 是等价的, 应满足如下条件:(a) 一致性条件:s 和t 必须同时为终态或为非终态;(b) 蔓延性条件: 对于所有输入符号, 状态s 和t 必须转换到等价的状态里。
　　一个DFAM 可以通过消除无用状态和合并等价状态而转化为一个最小化的与之等价的DFAM’ 。该过程称为DFA 的化简。
　　
　　2“ 分割法” 化简DFA
　　
　　对一个DFAM 最少化的基本思想是: 把M 的状态集划分为一些不相交的子集, 使得任何两个不同子集中的状态是( 可区别) 不等价的, 而同一子集的任何两个状态是等价的。具体算法过程描述如下:
　　(1) 把S 划分为终态和非终态两个子集, 形成初始划分P;
　　(2) 假定P 已含m 个子集, 记为P= { I1 , I2 , ⋯, Im}, 则对每一个Ii 和每一个a ∈Σ 考察: I i a = f ( I i , a) , 如I i a 中的状态分别落于P 中P 个不同的子集, 则子集I i 将被P 个更小的状态子集I i1 , I i2 , ⋯, I i p 所细分。令细分后所得的状态集合为Pnew;
　　(3) 重复步骤(2 ) 直到直至所含的子集数不再增加为止,Pnew =P;
　　(4) 对P 中的每个子集I i , 若该子集包含原有的初态, 则此代表状态便为最小化后M 的初态; 该子集包含原有的终态, 则此状态便为最小化后的终态;
　　(5) 删去状态集中的所有死状态, 即得到化简后的M’ 。
　　下面我们通过一个例子来看一下该算法中存在的问题。
　　例1 假定DFA M 如下图1 所示。
　　使用上述算法进行化简M: 初始划分P0={{0},{1,2}}, 此时P0 含有两个子集I1 和I2,I1 不可再分, 由于I2a=I2b=2 ∈I2, 没有新集合增加, 故可以得到化简后的M’, 如图2 所示。
　　
　　图1 DFA M
　　
　　图2 DFA M’
　　
　　化简后的M’ 与原来的M 是否等价呢? 显然, 对于符号串ba, 原来的DFAM 不能识别, 而化简后的M’ 能够识别, 这说明二者并不等价。
　　
　　3DFA 最小化算法的改进
　　
　　通过分析上述化简过程, 我们可以找出算法问题所在。算法步骤2 中涉及到集合运算, 而忽略了空集对于算法的影响。根据定义3, 要判断两个状态是否等价必须对于所有输入符号检查一遍, 看它们分别转到等价的状态中, 如上面例1 中状态1 不能接受a 而状态2 能接受a, 显然二者不等价。而在算法中, 把状态子集{1,2} 在接受a 后还是转到它自身, 所以就出现错误了。
　　某个状态下不能接受某个输入符号即为出错, 故上述算法没有考虑到出错情况。因此我们可以对上述算法进行如下改进:
　　(1) 增加一个出错状态error, 把S 划分为终态、非终态、出错三个子集, 形成初始划分P;
　　(2) 对于P 中每个子集Ii , 考察每一个a ∈Σ,I i a = f ( I i , a) 特别地如果Ii 中某个状态Iij 不接受a, 则另f(Iij,a)=error 。如I i a 中的状态分别落于P 中P 个不同的子集, 则子集I i 将被P 个更小的状态子集I i1 , I i2 , ⋯, I i p 所细分。令细分后所得的状态集合为Pnew;

(5) 删去状态集中的所有死状态和出错状态, 即得到化简后的M’ 。
　　步骤(3) 、(4) 与原算法相同。使用改进后的分割算法对例1 的DFAM 重新进行化简, 显然化简得到的M’ 与原来的M 相同, 即其本身就是最简的DFA 。
　　
　　4 小结
　　
　　有穷自动机是词法分析器的基础, 也是编译原理课程中讲授的重点和难点之一。本文使用简单的实例分析了目前通用教材中“ 分割法” 进行DFA 最小化的问题和漏洞, 并提出了一种切实可行的改进算法。本算法在教学和多次实例中证明是可行的, 这对于从事该课程教学的教师将是很有裨益的。