词法分析的目的在于对输入的字符串进行扫描并将其中匹配的词素找寻出来转换为词法单元然后将其添加入符号表或者送给语法分析器。
比如说有这样一个语句:
int x = 1;
词法分析器会将其中的{int, x, =, 1}提取出来,每一项都会生成一个词法单元,某些词法单元不仅有词法单元名,也保有属性值,比如说int就只有一个词法单元名,所以它的表示就是<INT,>(这个词法单元名是临时编的,逗号后面没有写内容就说明它的属性值为空),再来看1生成的词法单元<NUM, 1>,它的词法单元名是NUM,属性值是1。还有很多种类的词法单元可以参考相关书籍。
我们可以通过正则表达式来识别不同类型的词素,比如使用letter_(letter_|digit)*就可以识别C语言的一个标识符。以此类推就可以使用正则表达式识别各种关键字、运算符、操作符等等各种我们平时遇到的东西。
但下面的问题是我们应该如何写出使用正则表达式规则进行匹配的程序?也就是说我怎么实现这个正则表达式?(这里不是说像java和python直接调用相关库函数即可,我们要做的是自己写出正则表达式的实现!)
其实实现了正则表达式,我们的词法分析器核心部分也就完成了!
有限状态机可以做到实现正则表达式
有穷状态机分为DFA(确定有穷状态机)和NFA(非确定有穷状态机)
实现正则表达式
正则表达式的实现实际上是利用了有限状态机,在这里我们可以通过如下三中方法对正则表达式进行实现:
1.正则表达式->NFA-