AKANGn的博客

原创 编译原理期末大作业之词法分析器的实现

本系统可将指定的源程序字符流识别为单词Token序列，总体实现思路如下：首先将文件中存储的关键字、单字符分界符导入到程序中，然后按行扫描输入的单词序列，对其进行标记化。标记化的过程为用合适的正则化语句将单词进行分隔，调用函数判断单词的类型，最后得到一个标记列表tokens，其中包括行号，内容和种类。编译器工作的本质是将计算机高级语言翻译成计算机能够直接执行的机器码，这个翻译过程比较复杂，需要经历许多阶段。其中，词法分析是其中的基础和前提工作，它为后续的语法分析提供了有效的语法检查单位。