编译原理学习笔记：词法分析

一、正则表达式：

前提知识：3型文法（Type-3 Grammar)：
$$\alpha \to \beta$$

• 该文法又被称为正规文法、正则文法 (Regular Grammar,RG )：

  • 右线性(Right Linear)文法：$A\to \omega B$或$A\to \omega$；其中$A$和$B$都是非终结符，$\alpha \in {V_T}^{\ast }$。
  • 左线性(Left Linear) 文法： $A\to B\omega$或$A\to \omega$；其中$A$和$B$都是非终结符，$\alpha \in {V_T}^{\ast }$。
  • 左线性文法和右线性文法都称为正则文法。

• 实际举例：

  • 

• 3型语言（正则语言）：

  • 由正则文法（3型文法）$G$生成的语言$L(G)$。

正则表达式又称为正规式！所以下文中提到的正则和正规是一回事！

①正则表达式：

• 正则表达式(Regular Expression，RE )是一种用来描述正则语言的更紧凑的表示方法。
  • 例如：$r=a(a|b{)}^{\ast }(\epsilon |(.|\_)(a|b)(a|b{)}^{\ast })$
• 正则表达式可以由较小的正则表达式按照特定规则递归构建。每一个正则表达式$r$定义（表示）一个语言，记为$L(r)$。这个语言也是根据$r$的子表达式所表示的语言递归定义的。

②正则表达式的定义：

• $\epsilon$是一个$RE$，$L(\epsilon )=｛\epsilon ｝$.
• 如果$a\in \Sigma$，则$a$是一个$RE$，$L(a)=｛a｝$.
• 假设$r$和$s$都是$RE$，表示的语言分别是$L(r)$和$L(s)$，则：
  • $r|s$是一个$RE$，$L(r|s)=L(r)\cup L(s)$.
  • $rs$是一个$RE$，$L(rs)=L(r)L(s)$.
  • $r^{\ast }$是一个$RE$，$L(r^{\ast })=(L(r{)}^{\ast })$.
  • $(r)$是一个$RE$，$L((r))=L(r)$.

运算的优先级：* > 连接 > | 。

• 实际举例：
  • 
  • 

③RE（正则表达式）的代数定律：

④正则文法与正则表达式等价：

前提介绍：一个正则语言可以由于正则文法定义，也可以由正则表达式定义；对任何正则文法$G$，存在定义同一语言的正则表达式$r$，对任何正则表达式$r$，存在生成同一语言的正则文法$G$；有一些正则语言更容易使用正则表达式定义，有一些正则语言更容易使用正则文法定义。

正则表达式又称为正规式！所以下文中提到的正则和正规是一回事！

• 正则表达式转换为正则文法：
• 将$\Sigma$上面的一个正则式$r$转换为文法$G=(V_N,V_T,S,P)$。令$V_T=\Sigma$，确定产生式和$V_N$的元素采用如下的办法：
  • 选择一个非终结符$S$生成类似于产生式的形式：$S\to r$，并且将$S$定为$G$的识别符号。为了表述方便，将$S\to r$称为正规式产生式，因为在$\to$的右部中含有==$.、\ast |$==等正规式符号，不是V中的符号。
  • 若$x$和$y$都是正规式（正则表达式）:
    • 对于形如$A\to xy$的正规式产生式，重写为$A\to xB、B\to y$两个产生式，其中$B$是新选择的非终结符，即$B\in V_N$。
    • 对于形如$A\to x^{\ast }y$的正规式产生式，重写为$A\to xB、A\to y、B\to xB、B\to y$，其中$B$为一个新的非终结符。
    • 对于形如$A\to x|y$的正规式产生式，重写为$A\to x、A\to y$。
  • 不断利用上述规则做变换，直到每个产生式都符合正规文法的形式。

补充说明：左线性文法和右线性文法都称为正则文法。

• 右线性(Right Linear)文法：$A\to \omega B$或$A\to \omega$；其中$A$和$B$都是非终结符，$\alpha \in {V_T}^{\ast }$。

• 左线性(Left Linear) 文法： $A\to B\omega$或$A\to \omega$；其中$A$和$B$都是非终结符，$\alpha \in {V_T}^{\ast }$。

• 实际举例：

  • 

• 正则文法转换为正则表达式：

• 这一转换过程基本上是上面的逆过程，最后只剩下一个开始符号定义的正规式。

	文法产生式	正规式（正则表达式）
规则一	$A\to xB$、$B\to y$	$A=xy$
规则二	$A\to xA|y$	$A=x^{\ast }y$
规则三	$A\to x$、$A\to y$	$A=x|y$

• 实际举例：
  • 

⑤正则定义：

• 正则定义式具有如下形式的定义序列：

$$d_1\to r_1$$

$$d_2\to r_2$$

$$...$$

$$d_n\to r_n$$

• 其中：
  • 每一个$d_i$都是一个新符号，它们都不在字母表$\Sigma$中，而且各不相同。
  • 每个$r_i$是字母表 Σ ⋃ { d 1 , d 2 , . . . , d i − 1 } \Sigma\bigcup\{d_1,d_2,...,di-1\} Σ⋃{ d1​,d2​