词法分析-编译原理

三.词法分析

词法分析是编译过程的第一步，对单词进行分析，创立符号表，将单词与行号关联。本章主要通过正规文法和有限自动机，来判别某些句子能否被接受。

• 正规表达式—正规语言
• 确定有限自动机（DFA）：一个输入只有一种输出
• 非确定有限自动机（NFA）：一个输入存在多种输出
• 正规表达式→NFA
• 等价子集算法：NFA→DFA
• DFA的最小化：一致法判断，求异法判断
• DFA→正规表达式
  上述的过程，即能实现根据需要识别的正规表达式，设计对应的DFA

3.1词法分析功能

• 读入字符序列
• 预处理，删除注释，换行等
• 识别单词，创建符号表
• 将单词与行号联系，以便于后续查错
• 输出单词序列

3.2 单词的类别和属性

• 词法分析要切分出单词，还要给出单词类别和属性<单词类别，单词属性>
• 单词是具有独立含义的最小语法单位
• 自然语言
• 程序设计语言
  

3.3 词法分析的使用

• 单独使用，进行一遍的扫描
• 作为模块，在文法分析中进行调用

3.4 描述

• 单词符号（token）：<类别，属性值>，实例
• 模式：描述单词符号的可能形式，比如：一个整型，应该有怎样的形式
• 词素：单词符号的字符序列

3.5 模式表示-正规表达式

• 使用某个标识符来表示正规表达式
  

3.6 有限自动机

• 类型：
  
• 主要组成部分：
  

3.7 正规表达式—NFA

• 基本规则：
  
• 例子
  

3.8 NFA–DFA（子集构造算法）

• 基本方法：从出发开始，列举输入，给出对应的输出，形成新的状态，完成状态的转换
• 例子
  

3.9 DFA的最小化

• 一致性法：判断给定的输入对于不同的状态是否能得到同样的输出（首先分成终止和非终止条件）
  
• 求异法：进行分组，对于组内，给定输入，如果输出不在组内，则再分离
  

3.10 有限自动机–正规文法