注意:虽然要求|β|>=|α|,但有一特例:α→ε也满足1型文法。
如有A->Ba则|β|=2,|α|=1符合1型文法要求。反之,如aA->a,则不符合1型文法。
如Ab->Bab虽然符合1型文法要求,但不符合2型文法要求,因为其α=Ab,而Ab不是一个非终结符。
如有:A->a,A->aB,B->a,B->cB,则符合3型文法的要求。但如果推导为:A->ab,A->aB,B->a,B->cB或推导为:A->a,A->Ba,B->a,B->cB则不符合3型方法的要求了。具体的说,例子A->ab,A->aB,B->a,B->cB中的A->ab不符合3型文法的定义,如果把后面的ab,改成“一个非终结符+一个终结符”的形式(即为aB)就对了。例子A->a,A->Ba,B->a,B->cB中如果把B->cB改为B->Bc的形式就对了,因为A→α|αB(右线性)和A→α|Bα(左线性)两套规则不能同时出现在一个语法中,只能完全满足其中的一个,才能算3型文法。
S -> a|b|(T)
T -> TdS|S
/ | \
( T )
/ | \
T d S
/ | \ |
T d S b
| /|\
S ( T )
对任何一个NFA,都存在一个DFA*使L(M*)=L(M),这时我们称M*与M等价。构造与M等价的M*的基本方法是让M*的状态对应于M的状态集合。即如果δ(q,a)={q1,q2,...,qn},则把{q1,q2,...,qn}看作M*的一个状态,即M*中的状态集合Q*的一个元素。
程序编译的第一个阶段是**词法分析**,即把字节流识别为**记号**(token)流, 提供给下一步的**语法分析**过程。而识别记号的方法就是正则表达式的分析。 本文介绍利用**有限自动机**分析表达式的方法。
概念
记号 有字母表中的符号组成的有限长度的序列。记号s的长度记为
|s|
。 长度为0的记号称为空记号,记为ε
。有限自动机(Finite State Automaton) 为研究某种计算过程而抽象出的计算模型。 拥有有限个状态,根据不同的输入每个状态可以迁移到其他的状态。
非确定有限自动机(Nondeterministic Finite Automaton) 简称NFA,由以下元素组成:
- 有限状态集合
S
; - 有限输入符号的字母表
Σ
; - 状态转移函数
move
; - 开始状态 s0;
- 结束状态集合
F
,F ∈ S
。 自动机初始状态为s0,逐一读入输入字符串中的每一个字母,根据当前状态、读入的字母, 由状态转移函数move
控制进入下一个状态。如果输入字符串读入结束时自动机的状态属于结束状态集合F
, 则说明该自动机接受该字符串,否则为不接受。
- 有限状态集合
确定有限自动机(Deterministic Finite Automaton) 简称DFA,是NFA的一种特例,有以下两条限制:
- 对于空输入
ε
,状态不发生迁移; - 某个状态对于每一种输入最多只有一种状态转移。
- 对于空输入
将正则表达式转换为NFA(Thompson构造法)
算法
算法1: 将正则表达式转换为NFA(Thompson构造法)
- 输入: 字母表
Σ
上的正则表达式r
- 输出: 能够接受
L(r)
的NFAN
方法: 首先将构成
r
的各个元素分解,对于每一个元素,按照下述规则1和规则2生成NFA。注意: 如果
r
中记号a
出现了多次,那么对于a
的每次出现都需要生成一个单独的NFA。 之后依照正则表达式r的文法规则,将生成的NFA按照下述规则3组合在一起。规则1: 对于空记号
ε
,生成下面的NFA。规则2: 对于
Σ
的字母表中的元素a
,生成下面的NFA。规则3: 令正则表达式
s
和t
的NFA分别为N(s)
和N(t)
。对于
s|t
,按照以下的方式生成NFAN(s|t)
。对于
st
,按照以下的方式生成NFAN(st)
。对于
s*
,按照以下的方式生成NFAN(s*)
。对于
(s)
,使用s
本身的NFAN(s)
。
性质
算法1生成的NFA能够正确地识别正则表达式,并且具有如下的性质:
N(r)
的状态数最多为r
中出现的记号和运算符的个数的2倍。N(r)
的开始状态和结束状态有且只有一个。N(r)
的各个状态对于Σ
中的一个符号,或者拥有一个状态迁移,或者拥有最多两个ε
迁移。
示例
利用算法1,根据正则表达式 r=(a|b)*abb
可以生成以下的NFA。
将NFA转化为DFA
算法
使用以下的算法可以将NFA转换成等价的DFA。
算法2: 将NFA转化为DFA
- 输入: NFA
N
- 输出: 能够接受与N相同语言的DFA
D
方法: 本算法生成D对应的状态迁移表
Dtran
。DFA的各个状态为NFA的状态集合, 对于每一个输入符号,D
模拟N
中可能的状态迁移。定义以下的操作。
操作 说明 ε-closure(s)
从NFA的状态 s
出发,仅通过ε
迁移能够到达的NFA的状态集合ε-closure(T)
从 T
中包含的某个NFA的状态s
出发,仅通过ε
迁移能够到达的NFA的状态集合move(T, a)
从 T
中包含的某个NFA的状态s
出发,通过输入符号a
迁移能够到达的NFA的状态集合令 Dstates 中仅包含ε-closure(s), 并设置状态为未标记;
while Dstates中包含未标记的状态T do begin 标记T; for 各输入记号a do begin U := ε-closure(move(T, a)); if U不在Dstates中 then 将 U 追加到 Dstates 中,设置状态为未标记; Dtrans[T, a] := U; end end
ε-closure(T)
的计算方法如下:将T中的所有状态入栈; 设置ε-closure(T)的初始值为T; while 栈非空 do begin 从栈顶取出元素t; for 从t出发以ε为边能够到达的各个状态u do if u不在ε-closure(T)中 then begin 将u追加到ε-closure(T)中; 将u入栈; end end
示例
将上面生成的NFA转化为DFA。
最初,Dstates
内仅有ε-closure(0) = A = {0, 1, 2, 4, 7}。然后对于状态A
,对于输入记号a
,计算 ε-closure(move(A, a))
=ε-closure
(move
({0, 1, 2, 4, 7}, a)) = ε-closure
({3, 8}) = {1, 2, 3, 4, 6, 7, 8}, 即 B={1, 2, 3, 4, 6, 7, 8}, Dtran[A, a]=B
。 对于状态A
,由输入记号b
能够到达的仅有4->5,因此 C = ε-closure
({5}) = {1, 2, 4, 5, 6, 7}, 即 Dtran[A, b] = C
。
以此类推,可得到以下的状态和Dtran
。
A = {0, 1, 2, 4, 7} D = {1, 2, 4, 5, 6, 7, 9}
B = {1, 2, 3, 4, 6, 7, 8} E = {1, 2, 4, 5, 6, 7, 10}
C = {1, 2, 4, 5, 6, 7}
状态 | 输入符号 | |
a | b | |
A | B | C |
B | B | D |
C | B | C |
D | B | E |
E | B | C |
由此得出DFA如下图所示。
NFA和DFA的效率
给定正则表达式r
和输入记号序列x
,判断r
是否能够接受x
。
使用NFA的情况下, 由正则表达式生成NFA的时间复杂度为O(|r|)
,另外由于NFA的状态数最多为r的2倍,因此空间复杂度为O(|r|)
。 由NFA判断是否接受x
时,时间复杂度为O(|r|×|x|)
。因此,总体上处理时间与 r、x的长度之积成比例。 这种处理方法在x不是很长时十分有效。
如果使用DFA,由于利用DFA判断是否接受x
与状态数无关,因此时间复杂度为O(|x|)
。但是DFA的状态数 与正则表达式的长度呈指数关系。例如,正则表达式 (a|b)*a(a|b)(a|b)...(a|b)
,尾部有 n-1 个 (a-b)
的话, DFA最小状态数也会超过 2SUP{n}