编译原理第三章 词法分析

知识总结

一、词法分析器

1、功能：输入源程序，输出单词符号

2、单词符号常常用二元式来表示：<单词种别，单词符号的属性值>

    (1)单词种别：通常用整数编码来表示

            一字一种：关键字，运算符，界符

            按类型：常数                        

            统归一种：标识符

    (2)单词符号的属性值：反映单词特性或特征的值

 3、词法分析器运作过程（词法分析器设计）：

输入源程序文本->输入串放入输入缓冲区->预处理子程序预处理输入串->预处理好的子程序放到扫描缓冲区->

在缓冲区进行单词符号的识别

4、单词符号的识别方法：

    (1)超前搜索：向前多读几个符号，一旦确定识别到的单词之后，需要进行扫描指针的回退

    (2)直接分析法：根据读来的第一个字符的种类分别转到各种子程序处理

    (3)状态转换图：一张有限方向图，能够识别（接受）一定的符号串

        结点：代表状态，用圆圈表示

        箭弧：状态之间用箭弧连接

        箭弧上的标记：代表在射出节点下可能出现的输入字符或字符类

        一个状态转换图包含有限个状态，其中有一个初态，至少要有一个终态(用双圆圈表示)

<