词法分析程序——状态图代码化

一、   实验目的

   学习和掌握词法分析程序构造的状态图代码化方法。

二、  实验任务

  （1）阅读已有编译器的经典词法分析源程序；

  （2）用C或JAVA语言编写一门语言的词法分析器。

三、   实验内容

   （1）阅读已有编译器的经典词法分析源程序。

选择一个编译器，如：TINY或PL/0，其它编译器也可（需自备源代码）。阅读词法分析源程序，理解词法分析程序的构造方法——状态图代码化。尤其要求对相关函数与重要变量的作用与功能进行稍微详细的描述。若能加上学习心得则更好。TINY语言请参考《编译原理及实践》第2.5节；PL/0语言请参考相关实现文档。

   （2）确定今后其他实验中要设计编译器的语言，如：C－语言，其定义在《编译原理及实践》附录A中。也可选择其它语言，不过要有该语言的详细定义（可仿照C－语言）。一旦选定，不能更改，因为要在以后继续实现编译器的其它部分。鼓励自己定义一门语言。

  （3）根据该语言的关键词和识别的词法单元以及注释等，确定关键字表，画出所有词法单元和注释对应的DFA图。

  （4）仿照前面学习的词法分析器，编写选定语言的词法分析器。准备2~3个测试用例，要求包含正例和反例，测试编译结果。

四、   系统设计

词法分析器：是计算机科学中将字符序列转换为单词序列的过程。

这次的实验就是要识别一段源代码，把他经过词法分析器分解成单词序列。

1.算法基本思想及流程：

我们可以知道字符序列大概可分为5类：标识符、保留字、常数、运算符、界符。

标识符：以字母开头的字符/数字串。letter(letter|digit)*

保留字：保留字有32个，在设计的程序中可以从中挑选出一些更常用的来进行实验，能检验出词法分析器的功能即可。

常数：常量数字digit（digit）*。

运算符：运算符用于执行程序代码运算。

界符：限制界限所用。

所以我们的目标就是将字符序列划分为单词序列，然后判断是为这5类中的哪一类。

第一步：保留字都是字符串，与标识符相同的地方在于都是字母开头。所以可以把这两部分一起处理。当检测到第一个字母是字符（‘a’-‘z’或’A’-‘Z’）时进入循环。进入循环后可以判断是否为（‘a’-‘z’或’A’-‘Z’或‘0‘ - ’9‘）。当不是时跳出循环。然后与保留字进行比对，如果有符合的则标记为保留字keyword;若不符合则为标识符symbol。

第二步：由于输入的都是字符类型，所以当输入数字时，我们需要人为的把他从字符串变为整数int。当第一个字符为‘0‘-’9‘，我们进入数字的循环判断，直到不是字符不为‘0‘-’9‘为止。我们可以设计一个整形变量sum,来记录和。通过一个数学公式即可得到最后的结果sum=sum*10+char(a[i])-'0';

第三步：处理运算符"<",">","<=",">=","=","==","!","!="。我们发现"<",">