词法分析
功能
扫描源程序的字符串,按照词法规则,识别出单词符号作为输出;对识别过程中发现的词法错误,则输出有关的错误信息。
词法分析器的输出
1. 单词的种类
标识符:用来命名程序中出现的变量、数组、 函数、过程、标号等
基本字:也可称关键字或保留字, 如if、while、 for、do、goto等
常数:各种类型的常数, 如216、3.14159、TRUE等
运算符:如+、-、*、/等
界符:如;、:、/*、*/等
基本字、运算符、界符:一字一码
标识符:单列一种
常数:按类型分类(整数型、实数型)
(1)二元式
常数和标识符才会有值,基本字、运算符、界符只有一个类别。
识别
超前搜索
为了判定一个单词符号的类别,必须扫描到某一地方,而该单词符号并没有这么长,这种扫描方式叫做“超前搜索”
(2)标识符的识别:读到非字母数字(回退一字符)
(3)常数的识别:根据常数的格式;大多数常数后都有运算符或界符
(4)运算符的识别:需要超前搜索,如**
(5)界符的识别:需要超前搜索,如/*
状态转换图
状态转换图,简称转换图,是一张有限方向图,是设计词法分析器的有效工具;它由如下成分构成:
1.结点(node):圆圈表示结点,代表状态(state)
2.有向边(弧):连接结点,边上的标记字符表示该状态下可能接收或识别的字符;
唯一初态
若干终态(至少一个)
能识别标识符、数字串的状态转换图
语法分析
对于词法分析器输出的符号串,识别语法单元,生成语法树、报告语法错误。
自上而下的语法分析
自上而下语法分析法:或从开始符号出发,找最左推导;或从根开始,构造推导树。
自下而上语法分析法:从输入串开始,归约,直至文法开始符。
回溯分析法
产生回溯的原因:公共左因子(开始匹配上了,可能走错分枝)、左递归(不知道递归多少次)、空产生式。
公共左因子
左递归(直接、间接)
空产生式
提取公共左因子
将文法
S→xAy
A→ab│ac
改造成:
S→xAy
A→aB
B→b│c