任务:理解 TINY 语言的词法及词法分析器的实现,并基于该词法分析器, 实现拓展语言 TINY+的词法分析器。
要求:
(1) TINY+词法分析器以 TINY+源代码为输入,输出为识别出的 token 序 列;
(2) 词法分析器以最长匹配为原则,例如‘:=’应识别为赋值符号而非单独 的‘:’及‘=’;
(3) Token 以(种别码,属性值)表示,包含以下类型的种别码:
a) KEY 为关键字;
b) SYM 为系统特殊字符;
c) ID 为变量;
d) NUM 为数值常量;
e) STR 为字符串常量。
(4) 识别词法错误。词法分析器可以给出词法错误的行号并打印出对应的 出错消息,主要包含以下类型的词法错误: a) 非法字符。即不属于TINY+字母表的字符,比如$就是一个非法字符; b) 字符串匹配错误,比如右部引号丢失,如‘scanner c) 注释的右部括号丢失或匹配错误,如 {this is an example
核心代码:
typetoken定义集:
globals.h
typedef enum
/* book-keeping tokens */
{ENDFILE,ERROR,
/* reserved words */
IF,THEN,ELSE,END,REPEAT,UNTIL,READ,WRITE,TRUE1,FALSE1,OR,AND,NOT,INT,BOOL1,STRING,FLOAT,DOUBLE,DO,WHILE,
/* multicharacter tokens */
ID,NUM,STR,
/* special symbols */
ASSIGN,EQ,LT,MT,ME,LE,PLUS,MINUS,TIMES,OVER,LPAREN,RPAREN,SEMI,COMMA,UPDOX,PERCENT
} TokenType;
扫描器:
scan.c
/* states in scanner DFA */
typedef enum
{ START,INASSIGN,