编译原理——用C++模拟一个词法分析器

一、需求分析

   当今时代是飞速发展的信息时代，随着计算机技术的普及与网络的广泛应用，计算机语言更显得至关重要。计算机语言是人与计算机之间传递信息的媒介。计算机系统最大特征是指令通过一种语言传达给机器。为了使电子计算机进行各种工作，就需要有一套用以编写计算机程序的数字、字符和语法规划，由这些字符和语法规则组成计算机各种指令(或各种语句)。这些就是计算机能接受的语言。一个高级语言程序的实现，必须依赖于相应的编译系统。编译程序的基本任务是将源语言程序翻译成等价的目标语言程序。

  词法分析阶段是编译过程的第一个阶段，是编译的基础。词法分析结果的好坏将直接影响中文信息处理上层应用的效果。理解词法分析在编译程序中的作用，加深对有穷自动机模型的理解，掌握词法分析程序的实现方法和技术，加深对编译原理的理解,掌握编译程序的实现方法和技术至关重要。

  本次项目则为简单的词法分析器，通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。具体方法为：编制一个读单词的程序，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符和分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）

 词法分析器相关知识：

 

1.词法分析器的功能和输出格式

词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。在本实验中，采用的是一类符号一种别码的方式。

标识符的BNF表示：

<标识符>-> <字母><字母数字串>

<字母数字串>-><字母><字母数字串>|<数字><字母数字串>|ε

无符号整数的BNF表示：

<无符号整数>-> <数字><数字串>

<数字串>-> <数字><数字串> |ε

运算符的BNF表示：

<加法运算符>-> +

<减法运算符>-> -

<大于关系运算符>-> >

<大于等于关系运算符>-> >=

2.超前搜索

词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a>i”，当前字符为’>’，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’，这时可知应将’>’解释为大于运算符。但此时，超前读了一个字符’i’，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号整数等时也有类似情况。

 

二、系统设计

（一）系统中的数据定义

词法分析器的功能输入源程序，按照构词规则分解成一系列单词符号。单词是语言中具有独立意义的最小单位，包括关键字、标识符、运算符、界符和常数等。

 

 

 

1. 识别保留字：auto       break    case     char        const      continue  
   default    do       double   else        enum       extern    
   float      for      goto     if          int        long