离散数学 09.04 语言识别

$\color{blue}{\S 9.4 语言识别}$

$\color{blue}{9.4.1 正则集合}$

$有限状态自动机可以用作语言识别器，什么样的集合可以被这些自动机识别呢?1956年，\\ 美国数学家Stephen\ Kleene给出证明，存在一个可以识别集合的有限状态自动机,当且\\ 仅当这个集合可以由空集、空串、单个字符的串以任何顺序通过串联、并集和Kleene\\ 闭包运算得到。通过这种方式建立起来的集合称为正则集合。$

$定义9.4.1.集合I上的正则表达式可以递归定义如下：\\ 符号\phi是正则表达式; \\ 符号\lambda是正则表达式; \\ 符号x是正则表达式，其中x \in I;符号(AB),(A \cup B),和A^{\ast}是正则表达式，\\ 其中A和B是正则表达式。$

$每个正则表达式根据下面的规则代表一个集合:\\ \phi代表空集合，即没有任何符号的集合；\\ \lambda 代表集合 \lbrace \lambda \rbrace,即含有空串的集合; \\ x代表集合 \lbrace x \rbrace, 即含有一个符号的符号串; \\ (AB)代表由A代表的集合和由B代表的集合的串联; \\ (A \cup B)代表由A表的集合和由B代表的集合的并集; \\ A^{\ast}代表由A代表的集合的Kleene闭包。$
$由正则表达式代表的集合称为正则集合。因此，正则表达式用来描述正则集合，\\ 当我们提到正则集合A的时候，我们指的是正则表达式A所代表的集合。$

$例9.4.1.下列正则表达式所代表的正则集合都有那些符号串?$
$10^{\ast}, (10)^{\ast}, 0 \cup 01, 0(0 \cup 1)^{\ast}, (0^{\ast})^{\ast}。$
$解：由这些正则表达式代表的正则集合如下表所示。$

表达式	符号串
$10^{\ast}$	一个1后跟若干个0(包括零个0)
$(10)^{\ast}$	若干个10(包括空串)
$0 \cup 01$	符号串0或者符号串01
$0(0 \cup 1)^{\ast}$	以0开头的任意符号串
$(0^{\ast})^{\ast}$	不以0结尾的任意符号串

$\color{blue}{9.4.2 KLEENE定理}$

$定理9.4.1.KLEENE定理：一个集合是正则的当且仅当它被一个有限状态自动机识别。$
$KLEENE定理是自动机理论中的一个中心结论，我们将只证明这个定理的必要部分，\\ 即任何一个正则集合被一个有限状态自动机识别。$
$证明：正则集合都是用正则表达式来表示的，而正则表达式是递归定义的，如果我们能\\ 证明下面的结论，我们就可以证明任何正则集合可以被一个有限状态自动机识别：\\ 1.证明：\phi被一个有限状态自动机识别；\\ 2.证明：\lbrace \lambda \rbrace被一个有限状态自动机识别; \\ 3.证明：\lbrace a \rbrace 被一个有限状态自动机识别，其中a是I中的一个符号; \\ 4.证明：AB被一个有限状态自动机识别，其中A和B被有限状态自动机识别；\\ 5.证明：A \cup B被一个有限状态自动机识别，其中A和B被有限状态自动机识别; \\ 6.证明：A^{\ast}被一个有限状态自动机识别，其中A被有限状态自动机识别。$

$(1)我们证明\phi被一个非确定的有限状态自动机识别，只要有一个终止状态\\ 的自动机就可以做到这一点，如图(a)所示。$

$(2)我们来证明\lbrace \lambda \rbrace被一个非确定的有限状态自动机识别，我们需要一个只\\ 识别空串\lambda的有限状态自动机，我们可以让初始状态是终止状态，而且没有任何转\\ 换，如图(b)所示。$

$(3)我们来证明\lbrace a \rbrace被一个非确定的有限状态自动机识别，为了做到这一点，这个自动\\ 机需要两个状态，一个初始状态s_0和一个终止状态s_1,当输入是a时，有一个转换是从\\ s_0到s_1,没有其它的转换。这个自动机只识别符号串a。如图(c)所示。$

$下面我们证明，如果A和B被一个有限状态自动机识别的语言，那么AB和A \cup B可以\\ 被一个有限状态自动机识别。设A被M_A = (S_A, I, f_A, s_A, F_A)识别，B被M_B = \\ (S_B, I, f_B, s_B, F_B)识别。$
$(4) 我们来构造能识别A和B的串联AB的有限状态自动机M_{AB} = (S_{AB}, I, f_{AB}, s_{AB}, \\ F_{AB}),通过自动机M_A和自动机M_B的串行结合来构造这个自动机，A中的符号串把这\\ 个结合的自动机的状态从M_A的初始状态s_A变到M_B的初始状态s_B,B中的符号串把这\\ 个结合的自动机的状态从s_B变到它的一个终止状态。这样，我们有如下构造，设S_{AB}为\\ S_{A} \cup S_{B}, 初始状态s_{AB}是s_{A},终止状态集合F_{AB}是M_{B}的终止态集合，以及s_{AB}当且\\ 仅当\lambda \in A \cap B。M_{AB}的转换包括所有的M_A的转换和所有的M_B的转换以及一些新\\ 的转换。对于每一个转换成M_A中的终止状态的转换，对于同样的输入我们构造一个\\ M_{AB}中的一个从同样状态出发到状态s_{B}的转换。利用这种方法，A中的一个符号串把\\ M_{AB}的状态从s_{AB}变到s_B,B中的一个符号串把s_B变到M_{AB}的终止状态。另外，对于\\ 任何从s_B出发的转换，我们构造一个M_{AB}中从s_{AB}到同样状态的转换。下图(a)表明了\\ 这种构造。$

$(5) 现在来构造能识别A \cup B的有限自动机M _{A \cup B} = (S_ {A \cup B}, I, f_ {A \cup B}, s_ {A \cup B}, F_ {A \cup B}),$
$通过自动机M_A和自动机M_B的并行结合来构造这个自动机，它使用一个包含s_A和s_B$
$的所有转换的新的初始状态。设S_ {A \cup B} = S_A \cup S_B \cup \lbrace s_ {A \cup B} \rbrace,其中s_ {A \cup B}是新的M_ {A \cup B}$
$的初始状态。如果\lambda \in A \cup B,则令终止状态集合F_ {A \cup B}为F_A \cup F_B \cup \lbrace s_ {A \cup B} \rbrace,否则令$
$终止状态集合F_ {A \cup B}为F_A \cup F_B。M_ {A \cup B}中的转换包括所有M_A和M_B中的转换,以及如$
$果对于输入i原来有转换从s_A到s，则有转换从s_ {A \cup B}到s，如果对于输入i原来有转换从$
$s_B到s，则有转换从s_ {A \cup B}到s。这样，A中的串和B中的串都能让这个新的自动机从状态$
$s_ {A \cup B}到一个终止状态。图(b)表明了这种构造。$

$初始状态s_{A \cup B}是一个新的状态，当s_A或s_B都是终止状态时，它也时终止状态。$
$终止状态是M_B和M_B的所有终止状态。$

$(6)最后，我们构造能识别A的Kleene的闭包A^{\ast}的自动机M_{A^{\ast}} = (S_{A^{\ast}}, I, f_{A^{\ast}}, s_{A^{\ast}}, \\ F^{A^{\ast}}),令S_{A^{\ast}}包括所有的S_A的状态以及一个附加的状态s_{A^{\ast}},这个附加的状态是新自动机\\ 的初始状态，终止状态集合F_{A^{\ast}}包含F_A的所有状态以及初始状态s_{A^{\ast}},因为\lambda必须被识别。\\ 为了识别A中的任意符号串的串联，新自动机要包括M_A中的所有转换以及从s_{A^{\ast}}出发的\\ 与s_A一样的转换。有了这个转换集合，A中符号串的串联将在第一个A中符号串被读入的\\ 时候把状态从s_{A^{\ast}}变到一个终止状态，当第二个A中的符号串被读入的时候，又变到一个\\ 终止状态，以此类推。图(c)表明了这种构造。$

$S_{A^{\ast}}是一个新的状态，它是一个终止状态，终止状态包括M_A的所有终止状态。$

$例9.4.2.构造一个能识别正则集合1^{\ast} \cup 01的非确定的有限状态自动机。$
$解：我们先构造识别1^{\ast}的自动机。首先构造识别1的自动机，然后根据定理中构造M_{A^{\ast}}\\ 的方法来构造1^{\ast}的自动机。接着构造识别01的自动机，先构造识别0和1的自动机，然后\\ 根据定理证明中构造M_{AB}的方法来构造01的自动机。最后根据定理证明中构造M_{A \cup B}\\ 的方法来构造1^{\ast} \cup 01的自动机。下图表示了这个构造过程。其中我们给状态标上了这个\\ 构造过程。其中我们给状态标上了不同的标号。值得注意的是，这里得到的自动机不是最\\ 简单的自动机，(b)给出了识别1^{\ast} \cup 01的更简单的自动机。$

$定理9.4.2.一个集合是由一个正则语法产生的当且仅当它是正则集合。$
$证明：首先我们来证明正则语法产生的集合是正则集合。\\ 设G = (V, T, S, P)是正则语法，产生的集合是L(G),为了证明L(G)是正则集合，\\ 我们构造一个可以识别L(G)的非确定的有限状态自动机。M = (S, I, f, s_0, F)。\\ 设状态集合S包括对应每个G中的非终止符号A的状态s_A以及一个附加的终止状态s_F,\\ 初始状态是对应初始符号S的状态s_0，M的转换是以下列方式由G的产生式得到，\\ 如果有产生式A \to a,则有对于输入a从状态s_A到s_F的转换，如果有产生式A \to aB,\\ 则有对于输入a从状态s_A到s_B的转换，如果有产生式S \to \lambda,则终止于状态集合包括\\ S_F,也包括s_0。不难证明被M识别的语言和语法G产生的语言是一样的，\\ 即L(M) = L(G)。$
$在证明充分性之前，我们先来看一个列子，这个例子说明了如何构造一个识别与正则语法\\ 产生的集合一样的集合的非确定的有限状态自动机。$

$例9.4.3.构造一个非确定的有限状态自动机能识别由正则语法G = (V, T, S, P)产生的\\ 语言，其中V = \lbrace, 0, 1, A, S \rbrace, T = \lbrace 0, 1 \rbrace, P = \lbrace S \to 1A, S \to 0, S \to \lambda, \\ A \to 0A, A \to 1A, A \to 1 \rbrace。$
$解：识别L(G)的非确定的有限状态自动机如下图所示。其中，s_0是对应的S的状态，\\ s_1是对应A的状态，s_2是终止状态。$

$下面证明定理的充分性。即证明，如果一个集合是正则的，就有一个正则语法能产生它。\\ 设M是识别这个集合的自动机且M具有如下一条性质：M的初始状态s_0不是任何转换\\ 函数的函数值。则语法G = (V, T, S, P)定义如下，给S的每一个状态和输入I中的每\\ 一个输入都对应一个符号，把这些符号作为V的元素，G的终止符号集合T中的元素为V\\ 中对应I中的符号，初始符号S是对应初始状态s_0的符号，G的产生式集合P根据M的转\\ 换来形成，如果一个状态s在输入a下变到一个终止状态，则产生式A_s \to a 属于P,其中\\ A_s对应状态s的非终止符号。如果一个状态s在输入a下变到一个状态t，则产生式A_s \to \\ aA_t属于P，产生式S \to \lambda属于P当且仅当\lambda属于L(M)。因为G的产生式对应M的转\\ 换，并且得到终止符的产生式对应得到终止符的转换，所以不难证明，L(G) = L(M)。$
$下面的例子说明如何从一个自动机求得产生同样语言的语法。$

$例9.4.4.给出一个正则语法，使它产生的语言被下图所示的有限状态自动机识别。$

$解：语法G = (V, T, S, P)即为所求，其中V = \lbrace S, A, B, 0, 1 \rbrace, S, A, B分别对应状态\\ s_0, s_1, s_2,T = \lbrace 0, 1 \rbrace, S是初始符，产生式是S \to 0A, S \to 1B, S \to 1, S \to \lambda, \\ A \to 0A, A \to 1B, A \to 1, B \to 0A, B \to 1B, B \to 1。$