自己动手写编译器之TINY编译器词法分析

  TINY是《编译原理与实践》一书中介绍的教学编程语言,该语言缺少真正程序设计语言的主要特征,但足以例证编译器的主要特征了。本文将介绍该编译器的实现过程,完整的实现代码loucomp_linux中,供编译原理初学者参考。

小试牛刀:
下载源码后,进入loucomp_linux, 在命令行输入
$make
便生成tiny程序,然后输入
$tiny sample.tny
tiny 将sample.tny中的TINY源码生成tm指令。tm指令是TM虚拟机的汇编代码,TM虚拟机的源码在tm.c中,输入如下指令进行编译:
$gcc tm.c -o tm
有了tm,便可执行上面生成的sample.tm指令:
$tm sample.tm
该命令装入对了tm汇编,接着就可以交互的运行TM模拟程序了。
sample.tny是用TINY编写的求阶乘代码,按以下命令就可得到7的阶乘了
$tm sample.tm
TM  simulation (enter h for help)...
Enter command: go
Enter value for IN instruction: 7
OUT instruction prints: 5040
HALT: 0,0,0
Halted
Enter command: quit
Simulation done.

接下来几篇文件讲一步步介绍该编译器和虚拟机的实现。

TINY语言的特证

1、TINY语言无过程,无声明,所有的变量都是整形。
2、它只有两个控制语句:if语句和repeat语句。if语句有一个可选的else部分且必须由关键字end结束。
3、read和write完成输入和输出
4、"{"和"}"中的语句为注释,但注释不能嵌套
程序清单1是该语言的一个求阶乘的编程示例。
程序清单1 

{ Sample program
  in TINY language -
  computes factorial
}
read x; { input an integer }
if 0 < x then { don't compute if x <= 0 }
  fact := 1;
  repeat
    fact := fact * x;
    x := x - 1
  until x = 0;
  write fact  { output factorial of x }
end
开发环境和工具:
本文的开发环境为Ubuntu, 使用lex进行词法分析,yacc进行语法分析,gcc来作为编译器。

词法分析
1、关键字: if, then, else, end, repeat, until, read, write.
所有的关键字都是保留字,且全部小写。
2、专用符号: +  - * / = < ( ) ; :=
这里只用了<, 没有使用>,:=为赋值符号
3、其它标记是ID和NUM, 通过下列正则表达式定义:
ID = letter+
NUM = digit+
letter = [a-zA-Z]
digit = [0-9]
大写和小写是有区别的
4、空格是由空白、制表符和新行组成。它通常被忽略,除了它必须分开ID、NUM关键字
5、注释用{...}围起来,且不能嵌套。
DFA
TINY扫描程序的DFA如下图所示:


词法扫描程序的实现:
1、定义记号,globals.h:

typedef enum 
    /* book-keeping tokens */
   {ENDFILE,ERROR,
    /* reserved words */
    IF,THEN,ELSE,END,REPEAT,UNTIL,READ,WRITE,
    /* multicharacter tokens */
    ID,NUM,
    /* special symbols */
    ASSIGN,EQ,LT,PLUS,MINUS,TIMES,OVER,LPAREN,RPAREN,SEMI
   } TokenType;
2、lex词法分析代码 tiny.l

%{
#include "globals.h"
#include "util.h"
#include "scan.h"
/* lexeme of identifier or reserved word */
char tokenString[MAXTOKENLEN+1];
%}
%option noyywrap

digit       [0-9]
number      {digit}+
letter      [a-zA-Z]
identifier  {letter}+
newline     \n
whitespace  [ \t]+

%%

"if"            {return IF;}
"then"          {return THEN;}
"else"          {return ELSE;}
"end"           {return END;}
"repeat"        {return REPEAT;}
"until"         {return UNTIL;}
"read"          {return READ;}
"write"         {return WRITE;}
":="            {return ASSIGN;}
"="             {return EQ;}
"<"             {return LT;}
"+"             {return PLUS;}
"-"             {return MINUS;}
"*"             {return TIMES;}
"/"             {return OVER;}
"("             {return LPAREN;}
")"             {return RPAREN;}
";"             {return SEMI;}
{number}        {return NUM;}
{identifier}    {return ID;}
{newline}       {lineno++;}
{whitespace}    {/* skip whitespace */}
"{"             { char c;
                  do
                  { c = input();
                    if (c == EOF) break;
                    if (c == '\n') lineno++;
                  } while (c != '}');
                }
.               {return ERROR;}

%%

TokenType getToken(void)
{ static int firstTime = TRUE;
  TokenType currentToken;
  if (firstTime)
  { firstTime = FALSE;
    lineno++;
    yyin = source;
    yyout = listing;
  }
  currentToken = yylex();
  strncpy(tokenString,yytext,MAXTOKENLEN);
  if (TraceScan) {
    fprintf(listing,"\t%d: ",lineno);
    printToken(currentToken,tokenString);
  }
  return currentToken;
}
规则部分定义了DFA的转换,辅助函数定义了getToken方法,该函数调用yylex()来获取匹配到的标识符,然后复制对应的字符串,最后打印识别到的字符串和标识符。

编译运行词法分析程序
词法扫描部分包含以下C文件, 左边为头文件,右边为代码文件
globals.h     main.c
util.h util.c
scan.h tiny.l
sample.tny为tiny语言编写的求阶乘函数,本文及后续文章都以该文件作为测试文件。
globas.h头文件包含了数据类型的定义和编译器使用的全局变量。main.c为编译器的主程序,分配和初始化全程变量。
输入命令:
$make
$./tiny.out sample.tny
输出:

TINY COMPILATION: sample.tny
	5: reserved word: read
	5: ID, name= x
	5: ;
	6: reserved word: if
	6: NUM, val= 0
	6: <
	6: ID, name= x
	6: reserved word: then
	7: ID, name= fact
	7: :=
	7: NUM, val= 1
	7: ;
	8: reserved word: repeat
	9: ID, name= fact
	9: :=
	9: ID, name= fact
	9: *
	9: ID, name= x
	9: ;
	10: ID, name= x
	10: :=
	10: ID, name= x
	10: -
	10: NUM, val= 1
	11: reserved word: until
	11: ID, name= x
	11: =
	11: NUM, val= 0
	11: ;
	12: reserved word: write
	12: ID, name= fact
	13: reserved word: end
	14: EOF
所有的标识付都被识别,对应的值也打印了。

有了词法分析程序,下一篇文章将介绍TINY的语法分析




发布了49 篇原创文章 · 获赞 21 · 访问量 81万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览