【编译技术】第二章-文法和语言的概念和表示(1)

这一部分主要是为后面几章做理论准备。

形式语言基础

这一部分在离散数学中有涉及，作为编译课程的先修知识。

字母表、符号、符号串

• 字母表是非空有穷元素集合。
• 字母表中的元素称为符号。
• 字母表$\Sigma$上的符号串递归定义如下：
  • ① $ϵ$是$\Sigma$上的符号串；
  • ② 若$x$是$\Sigma$上的符号串，且$a\in \Sigma$，则$ax$和$xa$是$\Sigma$上的符号串；
  • ③ $y$是$\Sigma$上的符号串，当且仅当$y$能由①②两条规则推出。

符号串的运算

• 符号串相等：当且仅当组成两个符号串的字符依次相等。
• 求符号串$x$长度：$|x|$。
• 符号串连接：$x$与$y$连接为$xy$。特别地，$ϵx=xϵ=x$。
• 符号串的幂运算：$x^n$即为将符号串$x$与自己连接$n-1$次。特别地，$x^0=ϵ$。

符号串集合的运算

• 符号串集合$A$、$B$的乘积运算：即$A$与$B$的笛卡尔积， A B = { x y ∣ x ∈ A , y ∈ B } AB=\{xy|x\in A, y\in B\} AB={xy∣x∈A,y∈B}。特别地，如果有$A$或$B$为$\varnothing$，则$AB$也为$\varnothing$。
• 符号串集合$A$的幂运算：$A^n=AA...A$。特别地， A 0 = { ϵ } A^0=\{\epsilon\} A0={ϵ}，而不是$\varnothing$。
• 符号串集合的闭包和正闭包：
  • 闭包： A ∗ = A 1 ∪ A 2 . . . ∪ A ∞ = { ϵ } ∪ A + A^*=A^1\cup A^2... \cup A^\infty=\{\epsilon\}\cup A^+ A∗=A1∪A2...∪A∞={ϵ}∪A+。
  • 正闭包：$A^{+}=A^0\cup A^2...\cup A^{\infty }$。

文法和语言的形式化定义

文法的形式化定义

文法$G$可以被定义为一个四元组$G[Z]=<V_n,V_t,P,Z>$。$V_n$为非终结符号集，$V_t$为终结符号集，$P$为规则或称产生式，$Z$为识别符号，$Z\in V_n$。下面分别阐释各部分。

产生式和（重写）规则($P$)

产生式，又称重写规则或规则，是有序对$(U,x)$写作如下形式：
$$U::=x$$
或
$$U\to x$$

字汇表($V$)

文法$G[Z]$中所有出现在规则左部和右部的符号的集合，称为字汇表$V$。

终结符集合($V_t$)和非终结符集合($V_n$)

仅考虑BNF文法(二型及以上文法)，文法$G[Z]$的所有出现在规则左部的符号为非终结符，其集合记为$V_n$；除了非终结符以外的符号为终结符，其集合记为$V_t$。

• 显然，字汇表$V=V_n\cup V_t$。
• 不能说所有出现在规则右部的符号为终结符，因为出现在一条规则左部的符号也有可能出现在规则右部。

文法的BNF表示法(Backus范式)

• 具有相同左部的规则，可以用"|"号将它们的右部连接起来，从而用一条规则表示
• “::=”, “|”, “<”, ">"四个符号称为元符号，元符号构成的语言称为元语言。

推导的形式化定义

直接推导

$v=xUy$，$w=xuy$，若有规则$U::=u$，说$v$（直接）推导出$w$，记为$v\Rightarrow w$。其中$x,y\in V^{\ast }$，$U\in V_n$， $u\in V^{\ast }$
特别地，令$x,y=ϵ$，可见$U\Rightarrow v$显然是成立的。

间接推导

若$v=u_0\Rightarrow u_1\Rightarrow u_2\Rightarrow ...\Rightarrow u_n=w$，则说$v$间接推导出$w$，记为$v\stackrel{+}{\Rightarrow }w$

直接或间接推导

如果不区分直接或间接推导，则可统一记为$v\stackrel{\ast }{\Rightarrow }w$

规范推导

若直接推导$xUy\Rightarrow xuy$中，$y$为终结符或为$ϵ$，则这个直接推导称为规范推导（后面也称为最右推导），记为$xUy=|=>xuy$。

• 规范推导直观理解：选择字符串最右端的非终结符进行推导。
• 每个句子都有规范推导，但不是每个句型都有规范推导。

语言的形式化定义

句型

若$Z\stackrel{\ast }{\Rightarrow }x$，则称$x$是文法$G$的一个句型。

句子

若$Z\stackrel{+}{\Rightarrow }x$，且$x\in V_n^{\ast }$，则称$x$是文法$G$的一个句子。

语言

文法$G[Z]$的所有句子的集合就是$G[Z]$定义的语言，记为$L(G[Z])$。形式化定义为 L ( G [ Z ] ) = { x ∣ Z ⇒ + x , x ∈ V n ∗ } L(G[Z])=\{x|Z\stackrel{+}{\Rightarrow}x, x\in V_n^*\} L(G[Z])={x∣Z⇒+x,x∈Vn∗​}。

语言和文法的对应关系

形式语言理论证明：

• 给定一个文法，能够唯一确定一个语言，即：$G\to L$。
• 给定一个语言，不能唯一确定一个文法，即：$L\to G_1$或$G_2$或$...$

等价文法

有了语言的概念，可以定义等价文法。文法$G$和$G^{\prime }$是等价的，当且仅当$L(G)=L(G^{\prime })$。这是以后对文法进行等价改写的基础。

递归规则与递归文法

递归规则

形如$U::=xUy$的规则称为递归规则。

• 若$x=ϵ$，即$U::=Uy$，称为左递归规则；
• 若$y=ϵ$，即$U::=xU$，称为右递归规则；
• 若$x,y\ne ϵ$，即$U::=xUy$，称为自嵌入递归规则。

递归文法

• 文法中含有（左/右/自嵌入）递归规则，则称文法是直接（左/右/自嵌入）递归的；
• 若文法有$U\stackrel{+}{\Rightarrow }U...$或$...U$或$...U...$，则称文法是间接（左/右/自嵌入）递归的。

递归的作用

• 优点：递归使得我们可以以有穷的规则来刻画无穷的语言；
• 缺点：递归可能对语法分析不利，如左递归对后续的自顶向下分析不利，需要进行改写。

短语、简单短语、句柄

短语

设$Z\stackrel{\ast }{\Rightarrow }xUy$，而$U\stackrel{+}{\Rightarrow }u$，则称$u$是相对于非终结符$U$的句型$xuy$的短语。

• 直观理解：短语是语法树上某棵子树的所有叶子节点连接成的符号串。
• 注意，说短语（包括下面的简单短语），都要指明是相对于哪个非终结符的哪个句型的短语。

简单短语

设$Z\stackrel{\ast }{\Rightarrow }xUy$，而$U\Rightarrow u$，则称$u$是相对于非终结符$U$的句型$xuy$的简单短语。

• 直观理解：短语是语法树上某棵深度为2的子树的所有叶子节点连接成的符号串。

句柄

某句型的最左简单短语称为该句型的句柄。

• 在自底向上分析的过程中，句柄的识别很重要。

参考书籍：张莉、史晓华、杨海燕、金茂忠《编译技术》