编译原理词法分析(二)

正规式与正规集

正规式与正规集的关系:

  • 正规集可以用正规式表示
  • 正规式是表示正规集一种方法
  • 一个字集合是正规集当且仅当它能用正规式表示

什么是正规式与正规集:

  • 对给定的字母表Σ
    • ε和Ø都是Σ上的正规式,它们所表示的正规集为{ε}和Ø;
    • 任何a∈Σ , a是Σ上的正规式,它所表示的正规集为{a};
    • 假定e1和e2都是Σ上的正规式,它们所表示的正规集为L(e1)和L(e2) ,则
      • (e1|e2)为正规式 ,它所表示的正规集为L(e1)UL(e2)
      • (e1.e2)为正规式 ,它所表示的正规集为L(e1)L(e2)
      • (e1)* 为正规式,它所表示的正规集为(L(e1))*

仅由有限次使用上述三步骤而定义的表达式才是Σ上的正规式,仅由这些正规式表示的字集才是Σ上的正规集。

正规式的等价性

若两个正规式所表示的正规集相同,则称这两个正规式等价。如:
b(ab)* =(ba)*b

b(ab)* =L(b(ab)*)== L(b)L((ab)*)=L(b) (L(a)L(b))*={b} {ab}*= {b} {ε, ab, abab, ababab, …}= {b, bab, babab, bababab, …}

(ba)*b=L( (ba)b)= (L(ba))*L(b)== (L(b)L(a))* L(b)= {ba} {b}= {ε, ba, baba, bababa, …} {b}= {b, bab, babab, bababab, …}

正规式的性质

对正规式,下列等价成立

  • e1|e2= e2|e1 交换律
  • e1 |(e2|e3) = (e1|e2)|e3 结合律
  • e1(e2e3) = (e1e2)e3 结合律
  • e1(e2|e3) = e1e2le1e3 分配律
  • (e2|e3)e1= e2e1|e3e1 分配律
  • eε=εe=e
  • e1e2 <> e2e1

确定有限自动机(DFA)

确定有限自动机是对状态图进行形式化定义
确定有限自动机(Deterministic Finite Automata DFA) M是一个五元式M=(S, Σ,f, S0,F),其中:

  • S:有穷状态集,就是状态图的各个状态结点
  • Σ :输入字母表(有穷),就是所有出现在状态转移弧上的字母
  • f: 状态转换函数,为SxZ- >S的单值部分映射, f(s,a)=S’表示:当现行状态为S ,输入字符为a时,将状态转换到下一-状态s’ , s’称为S的一个后继状态
  • S0∈S是唯一 的一个初态
  • F⊆S :终态集(可空)

例子:
DFA M=({0,1,2,3},{a,b},f,0,{3}),其中f定义如下:
f(0 , a)=1 f(0 , b)=2
f(1 , a)=3 f(1 , b)=2
f(2 , a)=1 f(2 , b)=3
f(3 , a)=3 f(3 , b)=3
将f转化为状态转化矩阵:

ab
012
132
213
333

根据状态转化矩阵画出状态图:
状态图

  • 对于Σ*中的任何字a ,若存在一条从初态到某一终态的道路,且这条路上所有弧上的标记符连接成的字等于a ,则称a为DFA M所识别(接收)
  • DFA M所识别的字的全体记为L(M)

非确定有限自动机(NFA)

非确定有限自动机也是对状态图进行形式化定义
非确定有限自动机((Nondeterministic Finite Automata , NFA)) M是一个五元式M=(S, Σ,f, S0,F),其中:

  • S:有穷状态集,就是状态图的各个状态结点
  • Σ :输入字母表(有穷),就是所有出现在状态转移弧上的字母
  • f: 状态转换函数,为SxZ- >2S的部分映射, f(s,a)=S’表示:当现行状态为S ,输入字符为a时,将状态转换到下一状态集合s’ , s’称为S的一个后继状态集合
  • S0⊆S是非空的初态集
  • F⊆S :终态集(可空)

非确定有限自动机(NFA)与确定有限自动机(DFA)有三点不同:

  • NFA可以有多个初态
  • 弧上的标记可以是Σ*中的一个字(甚至可以是一一个正规式) ,而不一定是单个字符
  • 同一个字可能出现在同状态射出的多条弧上

我们可以说DFA是NFA的特例。

一、实验目的: 通过设计编制调试一个具体的词法分析程序,加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程,从输入的源程序中,识别出各个具有独立意义的单词,即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。(遇到错误时可显示“Error”,然后跳过错误部分继续显示) 、实验预习提示 1、词法分析器的功能和输出格式 词法分析器的功能是输入源程序,输出单词符号。词法分析器的单词符号常常表示成以下的元式(单词种别码,单词符号的属性值)。本实验中,采用的是按类来安排种别码的方式。 2、部分单词的BNF表示(可参考教材43页的状态转换图) -> ->|| |ε -> -> |ε -> + -> - -> > -> >= 3、 做词法分析器需要把对象语言的词法全部描述出来,在这我们取C语言子集,它的词法如下: (1)关键字 main if else int return void while…….. 所有的关键字都是小写。 (2)专用符号 = + - * / <= > >= == != ; : , { } [ ] ( ) (3)空格和空白、制表符和换行符。 空格一般用来分隔ID、NUM、专用符号和关键字,在词法分析阶段通常被忽略。 各种单词符号的种别码,这是一种符号一个编码的设计。只供参考! 单词符号 种别码 单词符号 种别码 main 2 [ 28 int 1 ] 29 char 3 { 30 If 4 } 31 else 5 , 32 for 6 : 33 while 7 ; 34 ID 10 > 35 NUM 20 = 37 + 22 +”,当前字符为’>’,此时,分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢?显然,只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’,这时可知应将’>’解释为大于运算符。但此时,超前读了一个字符’+’,所以要回退一个字符,词法分析器才能正常运行。在分析标识符,无符号整数等时也有类似情况。 5、模块结构 见附图 三、实验过程和指导: (一)准备: 1.阅读课本有关章节,明确语言的语法,写出基本保留字、标识符、常数、运算符、分隔符和程序例。 2.编制好程序。 3.准备好多组测试数据。 ()上机调试: (三)程序要求: 程序输入/输出示例: 如源程序为C语言。输入如下一段: main() { int a,b; a = 10; b = a + 20; } 要求输出如右图。 (2,“main”) (5,“(” ) (5,“ )” ) (5,“{ ” ) (1,“int” ) (2,“a” ) (5,“,” ) (2,“b” ) (5,“;” ) (2,“a” ) (4,“=” ) (3,“10” ) (5,“;” ) (2,“b” ) (4,“=” ) (2,“a” ) (4,“+” ) (3,“20” ) (5,“;” ) (5,“}” ) 说明: 识别保留字:if、int、for、while、do、return、break、continue; 单词种别码为1。 其他的都识别为标识符;单词种别码为2。 常数为无符号整形数;单词种别码为3。 运算符包括:+、-、*、/、=、>、=、<=、!= ;单词种别码为4。 分隔符包括:,、;、{、}、(、); 单词种别码为5。 以上为参考,具体可自行增删。 程序思路(参考): 这里以开始定义的C语言子集的源程序作为词法分析程序的输入数据。在词法分析中,自文件头开始扫描源程序字符,一旦发现符合“单词”定义的源程序字符串时,将它翻译成固定长度的单词内部表示,并查填适当的信息表。 经过词法分析后,源程序字符串(源程序的外部表示)被翻译成具有等长信息的单词串(源程序的内部表示),并产生两个表格:常数表和标识符表,它们分别包含了源程序中的所有常数和所有标识符。 0.定义部分:定义常量、变量、数据结构。 1.初始化:从文件将源程序全部输入到字符缓冲区中。 2.取单词前:去掉多余空白。 3.取单词后:去掉多余空白(可选,看着办)。 4.取单词:利用实验一的成果读出单词的每一个字符,组成单词,分析类型。(关键是如何判断取单词结束?取到的单词是什么类型的单词?) 5.显示结果。 为了设计好程序,注意以下事情: 1.模块设计:将程序分成合理的多个模块(函数),每个模块做具体的同一事情。 2.写出(画出)设计方案:模块关系简图、流程图、全局变量、函数接口等。 3.编程时注意编程风格:空行的使用、注释的使用、缩进的使用等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值