python实现c语言词法分析器s,如何用python写一个简单的词法分析器

编译原理老师要求写一个java的词法分析器，想了想决定用python写一个。

目标

能识别出变量，数字，运算符，界符和关键字，用excel表打印出来。

有了目标，想想要怎么实现词法分析器。

1.先进行预处理，把注释，多余的空格，空行去掉。

2.一行一行扫描，行里逐字扫描，把界符和运算符当做分割符，遇到就先停下开始判断。

若是以 英文字母、$、下划线开头，则可能是变量和关键字，在判断是关键字还是变量。

若是数字开头，则判断下一位是不是也是数字，直到遇到非数字停止，在把数字取出来。

再来判断分割符是什么类型，是界符还是运算符。

在给不同词添加上识别码

在用excel表打印出来。

代码实现

1. 用列表创建一个关键字表，java关键字有50个。

?

2.用列表创建一个运算符表。

?

3. 用列表创建一个界符表。

?

4.预处理

用正则表达式把注释去掉,在把多余的空行去掉

?

5.逐行扫描

按照刚刚的思路进行判断，把每一行的单词，添加到word_line列表中，最后在把每一行添加到token列表中。

?

6.根据单词返回是什么类型

按照保留字--界符--运算符--常数的顺序来当识别码。常数识别码是-1，标识符识别码是-2

?

7. 用thinker写一个简单的界面

导入

?

?

打开文件

?

简单的界面

8.导入到excel表中

需要安装包xwings

?

导入

?

把token里的单词，按照 单词 ---- 识别码 ---类型 打印到excel表中

?

最后就像这样

效果

代码很烂，不过也算是大致明白词法分析器了。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。

原文链接：https://www.jianshu.com/p/30369358da8a