编译原理-4-上下文无关文法

上下文无关文法(CFG, Context-Free Grammer, 上下文无关文法)

1. LL(1)可以完成手写分析器
2. LR(1)可以更不容易出现细节问题
3. Bison工具是本实验使用的工具。

1. 上下文无关文法(CFG)定义

1. 上下文无关文法$G$是一个四元组$G=(T,N,P,S)$:
   1. T是终结符号 Terminal集合, 对应于词法分析器产生的词法单元
   2. N是非终结符号 Non-terminal集合
   3. P是产生式 Production集合

$$A\in N\to \alpha \in (T\cup N)\ast$$

2. 头部/左部(Head)$A$:
   1. 单个非终结符，必须只有一个，是命名为上下文无关文法的原因。
   2. 如果有多个则不符合上下文无关文法，会被成为上下文有关文法，但是几乎无法处理。
3. 体部/右部(Body)$\alpha$:
   1. 终结符与非终结符构成的串
   2. 也可以是空串$ϵ$
4. $S$为开始(Start)符号
5. 要求$S\in N$且唯一。

1.1. 上下文无关文法示例

1. 一个符号要么是终结符号，要么是非终结符号
2. 终结符号表示到此为止，无法再进行替换

G = ( { S } , { ( , ) } , P , S ) S → S S S → ( S ) S → ( ) \begin{array}{l} G = (\{S\}, \{(, )\}, P, S) \\ S \rightarrow SS \\ S \rightarrow (S) \\ S \rightarrow () \\ \end{array} G=({S},{(,)},P,S)S→SSS→(S)S→()​

上面的文法表示任意嵌套的所有匹配好的括号串

G = ( { S } , { a , b } , P , S ) S → a S b S → ϵ \begin{array}{l} G = (\{S\}, \{a, b\}, P, S) \\ S \rightarrow aSb \\ S \rightarrow \epsilon \\ \end{array} G=({S},{a,b},P,S)S→aSbS→ϵ​

可以有很多的情况

1.2. 条件语句文法

1. 条件语句文法中包含悬空(Dangling)-else文法的问
2. 这样的文法是有问题，我们进一步分析才可以，OTHER作为终结符。

1.3. 约定

约定: 如果没有明确指定, 第一个产生式的头部就是开始符号，用来避免写如上例子中的一些描述

1.4. 关于终结符号的约定

下述符号是终结符号:(通常的约定)

1. 在字母表里排在前面的小写字母，比如a、b、c。
2. 运算符号，比如+、*等。
3. 标点符号，比如括号、逗号等。
4. 数字，0、1、… 9。
5. 黑体字符串，比如id或if。每个这样的字符串表示一个终结符号。

1.5. 关于非终结符号的约定

下述符号是非终结符号:

1. 在字母表中排在前面的大写字母，比如A、B、C。
2. 字母S。它出现时通常表示开始符号。
3. 小写、斜体的名字，比如expr或stmt.

2. 语义

1. 上下文无关文法$G$定义了一个语言$L(G)$
2. 语言是串的集合

3. 推导(Derivation)的定义

3.1. 表达式文法

$$E\to -E|E+E|E\ast E|(E)|id$$

1. 推导即是将某个产生式的左边替换成它的右边
2. 每一步推导需要选择替换哪个非终结符号，以及使用哪个产生式

$$E\Rightarrow -E\Rightarrow -(E)\Rightarrow -(E+E)\Rightarrow -(id+E)\Rightarrow -(id+id)$$

$$\begin{array}{l}E\Rightarrow -E:经过一步推导得出\\ E\stackrel{+}{\Rightarrow }-(id+E):经过一步或多步推导得出\\ E\stackrel{\ast }{\Rightarrow }-(id+E):经过零步或多步推导得出\end{array}$$

$$E\Rightarrow -E\Rightarrow -(E)\Rightarrow -(E+E)\Rightarrow -(E+id)\Rightarrow -(id+id)$$

3.2. Definition (Sentential Form，句型)

如果$S\stackrel{\ast }{\Rightarrow }\alpha$，且$\alpha \in (T\cup N{)}^{\ast }$，则称$\alpha$是文法G的一个句型(包含非终结符)

$$\begin{array}{l}E\to -E|E+E|E\ast E|(E)|id\\ E\Rightarrow -E\Rightarrow -(E)\Rightarrow -(E+E)\Rightarrow -(id+E)\Rightarrow -(id+id)\end{array}$$

3.3. Definition (Sentence，句子)

1. 如果$S\stackrel{\ast }{\Rightarrow }w$，且$w\in T^{\ast }$，则称w是文法G的一个句子(没有非终结符了)
2. 句子就是这个语言中的串

4. Definition (文法G生成的语言L(G))

文法F的语言L(G)是它能推导出的所有句子构成的集合。

$$w\in L(G)\iff S\stackrel{\ast }{\Rightarrow }w$$

4.1. 关于文法G的两个基本问题

1. Membership问题:给定字符串$x\in T^{\ast },x\in L(G)$？字符串可不可以由文法推理得到
2. L(G)究竟是什么？

4.1.1. 问题一:Membership问题

1. 给定字符串$x\in T^{\ast },x\in L(G)$，(即检查x是否符合文法G)
2. 这就是语法分析器的任务:为输入的词法单元流寻找推导、构建语法分析树, 或者报错

1. 根节点是文法G的起始符号
2. 叶子节点是输入的词法单元流
3. 常用的语法分析器以自顶向下或自底向上的方式构建中间部分

4.1.2. 问题二:L(G) 是什么?

这是程序设计语言设计者需要考虑的问题

4.1.2.1. 根据文法G推导语言L(G)

例子一
S → S S S → ( S ) S → ( ) S → ϵ L ( G ) = { 良 匹 配 括 号 串 } \begin{array}{l} S \rightarrow SS \\ S \rightarrow (S) \\ S \rightarrow () \\ S \rightarrow \epsilon \\ L(G) = \{良匹配括号串\} \\ \end{array} S→SSS→(S)S→()S→ϵL(G)={良匹配括号串}​

例子二
$$\begin{array}{l}S\to aSb\\ S\to ϵ\\ L(G)=a^n{b}^n|n\ge 0\end{array}$$

4.1.2.2. 根据语言L(G)来推导文法G

1. 目标生成：字母表$\sum =a,b$上的所有回文串(Palindrome)构成的语言

$$\begin{array}{l}S\to aSa\\ S\to bSb\\ S\to a\\ S\to b\\ S\to ϵ\\ S\to aSa|bSb|a|b|ϵ\end{array}$$

2. 目标生成：$b^n{a}^m{b}^{2n}|n\ge 0,m\ge 0$
   $$\begin{array}{l}S\to bSbb|A\\ A\to aA|ϵ\end{array}$$

3. 目标生成： { x ∈ { a , b } ∗ ∣ x 中 a , b 个 数 相 同 } \{x\in \{a, b\}^* | x 中a,b个数相同 \} {x∈{a,b}∗∣x中a,b个数相同}

   1. 证明：a可以是空串
   2. 证明：a以a开头，那么后面肯定能找到一个b保证被分为了aVbV并且V中的ab数量均相同，以b开头类似。

$$\begin{array}{l}V\to aVbV|bVaV|ϵ\end{array}$$

4. 目标生成： { x ∈ { a , b } ∗ ∣ x 中 a , b 个 数 不 同 } \{x\in \{a, b\}^* | x 中a,b个数不同 \} {x∈{a,b}∗∣x中a,b个数不同}
   1. T表示a多一个或者更多
   2. U表示b多一个或者更多
   3. UT不能同时出现，和V去组合即可
   4. 证明

$$\begin{array}{l}S\to T|U\\ T\to VaT|VaV\\ U\to VbU|VbV\\ V\to aVbV|bVaV|ϵ\end{array}$$

4.2. 顺序语句、条件语句、打印语句

上图中的L是顺序语句

5. L-System(不考)

L-System:这不是上下文无关文法, 但精神高度一致

$$\begin{array}{l}variables:AB\\ constants:+-\\ start:A\\ rules:(A\to B-A-B),(B\to A+B+A)\\ angles:60^{\prime }\end{array}$$

1. $A,B$:向前移动并画线
2. +:左转
3. -:右转
4. 每一步都并行地应用所有规则

$$\begin{array}{l}variables:XYconstants:F+-start:FXrules:(X\to X+YF+),(Y\to -FX-Y)angles:90^{\prime }\end{array}$$

1. $F$:向前移动并画线
2. +:右转
3. -:左转
4. X:仅用于展开，在作画时被忽略
5. 每一步都并行地应用所有规则

6. 最左(leftmost) 推导与最右(rightmost) 推导

$$\begin{array}{l}E\to E+E|E\ast E|(E)|id\\ E\underset{lm}{\Rightarrow }-E\underset{lm}{\Rightarrow }-(E)\underset{lm}{\Rightarrow }-(E+E)\underset{lm}{\Rightarrow }-(id+E)\underset{lm}{\Rightarrow }-(id+id)\end{array}$$

1. $E\underset{lm}{\Rightarrow }-E$:经过一步最左推导得出
2. $E\underset{lm}{\overset{+}{\Rightarrow }}-(id+E)$:经过一步或多步最左推导得出
3. $E\underset{lm}{\overset{\ast }{\Rightarrow }}-(id+E)$:经过零步或多步最左推导得出
4. 最左推导是有非终结符优先选择最左侧的进行推导
5. 最右推导是有非终结符有限选择最右侧的进行推导

$$E\underset{rm}{\Rightarrow }-E\underset{rm}{\Rightarrow }-(E)\underset{rm}{\Rightarrow }-(E+E)\underset{rm}{\Rightarrow }-(E+id)\underset{rm}{\Rightarrow }-(id+id)$$

6.1. Definition (Left-sentential Form，最左句型)

1. 如果$S\underset{lm}{\overset{\ast }{\Rightarrow }}\alpha$, 并且$\alpha \in (T\cup N{)}^{\ast }$，则称$\alpha$是文法G的一个最左句型。

$$E\underset{lm}{\Rightarrow }-E\underset{lm}{\Rightarrow }-(E)\underset{lm}{\Rightarrow }-(E+E)\underset{lm}{\Rightarrow }-(id+E)\underset{lm}{\Rightarrow }-(id+id)$$

6.2. Definition (Right-sentential Form，最右句型)

1. 如果$S\underset{rm}{\overset{\ast }{\Rightarrow }}\alpha$, 并且$\alpha \in (T\cup N{)}^{\ast }$，则称$\alpha$是文法G的一个最右句型。

$$E\underset{rm}{\Rightarrow }-E\underset{rm}{\Rightarrow }-(E)\underset{rm}{\Rightarrow }-(E+E)\underset{rm}{\Rightarrow }-(id+E)\underset{rm}{\Rightarrow }-(id+id)$$

7. 语法分析树

1. 语法分析树是静态的, 它不关心动态的推导顺序

2. 一棵语法分析树对应多个推导
3. 但是, 一棵语法分析树与最左(最右) 推导一一对应

7.1. 二义性引入

4. 1 - 2 - 3的语法树的两种不同表达形式
5. 以下的两棵语法树是不同的，生成出来的目标代码也是不同的
6. 这个文法是有问题的，这个文法具有二义性，我们需要通过修改文法避开二义性问题。
7. 语法没有二义性的描述，L(G)本身只是一个串的集合。

7.2. Definition (二义性(Ambiguous) 文法)

1. 如果L(G) 中的某个句子有一个以上语法树/最左推导/最右推导,则文法G是二义性的。
2. 1 + 2 * 3的语法树

7.3. 悬空-else

8. 二义性文法

1. 不同的语法分析树产生不同的语义
2. 所有语法分析器都要求文法是无二义性的

3. Q:如何识别二义性文法?这是不可判定的问题，是指没有通用的算法，可以判断任意的文法G
4. Q:如何消除文法的二义性?

8.1. 消除文法二义性

1. 四则运算均是左结合的
2. 优先级: 括号最先, 先乘除后加减
3. 二义性表达式文法以相同的方式处理所有的算术运算符
4. 要消除二义性, 需要区别对待不同的运算符
5. 将运算的"先后" 顺序信息编码到语法树的"层次"结构中

$$\begin{array}{l}E\to E+E|id\end{array}$$

8.2. 左结合文法

$$\begin{array}{l}E\to E+T\\ T\to id\end{array}$$

8.3. 右结合文法

$$\begin{array}{l}E\to T+E\\ T\to id\end{array}$$

8.4. 使用左(右)递归实现左(右)结合

8.5. 括号最先, 先乘后加文法

乘号更靠近叶子节点

$$\begin{array}{l}E\to E+E|E\ast E|(E)|id\\ E\to E+T|T\\ T\to T\ast F|F\\ F\to (E)|id\end{array}$$

8.6. Summary

$$\begin{array}{l}E\to E+E|E-E|E\ast E|E/E|(E)|id|number\\ E\to E+T|E-T|T\\ T\to T\ast F|T/F|F\\ F\to (E)|id|number\end{array}$$

1. 无二义性的表达式文法
   1. E:表达式(expression)
   2. T:项(term)
   3. F:因子(factor)
2. 将运算的"先后"顺序信息编码到语法树的"层次"结构中

8.7. IF-Then-Else问题

每个else与最近的尚未匹配的then匹配

1. 基本思想: then与else之间的语句必须是"已匹配的"
2. 证明两件事情：证明部分不作为重点
   1. $L(G)=L(G^{\prime })$
   2. $G^{\prime }$是无二义性的

8.7.1. $L(G)=L(G^{\prime })$证明过程

$$\begin{array}{l}L(G^{\prime })\subseteq L(G)简单容易证明\end{array}$$

文法是递归的，我们可以使用数学归纳法，对推导步骤进行归纳
$$\begin{array}{l}L(G)\subseteq L(G^{\prime })\\ x\in L(G)\to x\in L(G^{\prime })\\ stmt\to ...\to x\end{array}$$

1. 只要G中展开一步，G’中都有相应的对应即证明了$L(G)\subseteq L(G^{\prime })$

8.7.2. $G^{\prime }$ 是无二义性的

1. 每个句子对应的语法分析树是唯一的
2. 只需证明: 每个非终结符的展开方式是唯一的

$$\begin{array}{l}L(matched\_stmt)\cap L(open\_stmt)=\varnothing \\ L(matched\_stm{t}_1)\cap L(matched\_stm{t}_2)=\varnothing \\ L(open\_stm{t}_1)\cap L(open\_stm{t}_2)=\varnothing \end{array}$$

上面的下标代表子句

1. Q：为什么不使用优雅、强大的正则表达式描述程序设计语言的语法?
2. A：正则表达式的表达能力严格弱于上下文无关文法

每个正则表达式r对应的语言L® 都可以使用上下文无关文法来描述

$$r=(a|b{)}^{\ast }abb$$

1. 此外, 若$\delta (A_i,ϵ)=A_j$，则添加$A_i\to A_j$

$$\begin{array}{l}S\to aSb\\ S\to ϵ\\ L=a^n{b}^n|n\ge 0\end{array}$$

1. 该语言无法使用正则表达式来描述
2. 定理: L = { a n b n ∣ n ≥ 0 } L = \{a^nb^n | n ≥ 0\} L={anbn∣n≥0} 无法使用正则表达式描述
3. 反证法
   1. 假设存在正则表达式r:$L(r)=L$
   2. 则存在有限状态自动机D®:$L(D(r))=L$; 设其状态数为k
   3. 考虑输入$a^m(m>k)$

1. $D(r)$也能接受a^{i+j}bi，矛盾！
2. Pumping Lemma for Regular Languages：$L=a^n{b}^n|n\ge 0$
3. Pumping Lemma for Context-free Languages:$L=a^n{b}^n{c}^n|n\ge 0$
4. 只考虑无二义性的文法这意味着,每个句子对应唯一的一棵语法分析树