编译原理 第三章——词法分析

一、词法分析总结


    词法分析的任务：
从左至右逐个字符的对源程序进行扫描，产生一个个的单词符号，
把作为字符串的源程序改造成为由单词符号串组成的程序。


    词法分析器是执行词法分析的程序。
    
输入：源程序 
    输出：单词符号。




二、词法分析器要求与设计


    源程序 -》à 词法分析器 -》à 单词符号

    1.单词符号：
指语言中具有独立意义的最小的语法符号

    
    2.单词的种类
       （1）基本字（保留字，关键字）
       （2）标识符
       （3）常数
       （4）运算符
       （5）界符
        词法分析器输出的单词符号常常用二元式来表示：
<单词种别，单词符号的属性值>


三、单词符号的识别
     1. 超前搜索 2. 直接分析法 3. 状态转换图法


四、正规式与正规集  


    正规集：具有相同特征的字放在一起组成一个集合正规集
    正规式
：使用一种形式化的方法来表示正规集


    注意：

    正规式是描述单词结构的一种形式     正规集是该类单词的全集


    正规式的性质:正规式的性质   即正规式的运算法则
    设U，V，W是上的∑正规式，则
    (1) U | V = V | U 或的交换律
    (2) U | ( V|W ) = ( U|V ) | W 或的结合律
    (3) U ( VW ) = ( UV ) W 连接积的结合律
    (4) U ( V | W ) = ( UV ) | ( UW ) 分配律
         ( V | W ) U = VU | WU
    (5) εU = Uε = U


五、确定的有限自动机（DFA）


    1.定义：一个确定有限自动机（DFA）M是一个五元式：
M = (S, ∑, f, s0, F)
    S是一个有限的状态集合，它的每个元素我们称为一个状态
    ∑是一个有穷的输入符号的字母表，它的每个元素我们称为一个输入字符
    f是从 S×∑ →S的单值部分映射
    s0是S的一个元素，为初始状态，它是唯一的
    状态集合F是终止状态的集合，它是S的子集(可空)


    2.DFA M的表示方法
    状态转换矩阵表示法(用一个“表”来表示)
    设矩阵的行表示状态，列表示输入字符，矩阵元素是f（s，a）的值


六、非确定的有限自动机(NFA)


    1.定义:一个非确定有限自动机（NFA）M是一个五元式
         M = (S, ∑, f, S0, F)
    2.NFA M表示方法
    (1) 用状态矩阵表示
    (2) 用状态转换图表示
七、正规式与有限自动机的等价性
    定理1：对于任何∑上NFA M都可构造一个∑上的正规式V，使得  L(V) = L(M) 
    定理2. 对于∑上的每一个正规式V，存在一个∑上的DFA M，使得L(M) = L(V)  


八、心得体会
    这一章的知识点明显细化，对比第二章，这一章的明显更加抽象化，讨论的主要问题也聚焦在词法分析上。词法分析就是将输入的程序识别成一个个具体的单词符号。可以通过有限自动机去构造词法分析器，也就是写程序，让程序去识别代码中的单词符号，并且要细化单词符号，顺序一般是由左到右。也可以采用工具去解决。
    单词的细化课本介绍了超前搜索，直接分析法和转态转换图法。最重要的就是状态转换图法。

这也是本章习题要用到的方法之一。将有限自动机和正则表达式结合，也就是简化dfa类型的题目是这章的难点。

九、课后习题