词法分析器的功能是输入源程序,输出二元式。
单词符号包括(1)关键字(2)标识符(3)常数(4)运算符(5)界符
输出的单词符号常常表示为:
(单词种别,单词符号的属性值)
单词种别:通常用整数编码
单词符号属性值:指单词符号的特征
预处理
一般是用来删除不必要的字符(如空字符、换行符等)
字符识别
这里提到了一种最常用的方式叫做超前搜索
要进行有效的词法分析,就需要借助好的工具,状态转换图就是一种设计词法分析器的好工具。
正规式与正规集举例
为了更好地使用状态转换图构造词法分析程序,需要对转换图的概念稍加形式化,由此我们引入了正规式。
正规式 | 正规集 |
---|---|
ba* | Σ上所有以b为首后跟任意多个a的字 |
a(a|b)* | Σ上所有以a为首的字 |
对状态转换图进行进一