编译原理实验1：词法分析

2017-3-6 实验内容：用flex工具生成一个PL/0语言的词法分析程序，对PL/0语言的源程序进行扫描，识别出单词符号的类别，输出各种符号的信息 输入：PL0源程序 输出：把单词符号分为下面五类，然后统计PL0源程序中各单词符号出现的次数。 K类（关键字） I类（标识符） C类(常量） P类（算符及界符） O类（其他）

实验环境： 词法分析器生成工具：flex 编程语言：C 调试环境：VC

PL/0 语言简介 PL/0语言是Pascal语言的子集 数据类型只有整型 标识符的有效长度是10，以字母开始的字母数字串 数最多为14位 过程无参，可嵌套（最多三层），可递归调用 变量的作用域同PASCAL，常量为全局的 语句类型： 赋值语句，if...then..., while...do..., read, write, call, 复合语句begin... end， 说明语句： const..., var..., procedure… 13个保留字： if, then, while, do, read, write, call, begin, end, const, var, procedure, odd

PL0语言的EBNF范式 EBNF:可说明哪些符号序列是对于某给定语言在语法上有效的程序。

EBNF范式的符号说明 < >：语法构造成分，为非终结符 ::= ：该符号的左部由右部定义，读作“定义为” | ：或 { }：括号内的语法成分可重复 [ ]：括号内成分为任选项 ( )：圆括号内成分优先 <表达式> ::= [+|-]<项>{<加法运算符><项>} <项> ::= <因子>{<乘法运算符><因子>} <因子> ::= <标识符>|<无符号整数>|’(‘<表达式>’)’ <加法运算符> ::= +|- <乘法运算符> ::= *|/ <关系运算符> ::= =|#|<|<=|>|>= <当型循环语句> ::= WHILE<条件>DO<语句> <过程调用语句> ::= CALL<标识符> <读语句> ::= READ’(‘<标识符>{,<标识符>}’)’ <写语句> ::= WRITE’(‘<表达式>{,<表达式>}’)’ <字母> ::= a|b|...|X|Y|Z <数字> ::= 0|1|...|8|9

LEX源程序的格式 %{ 声明 －－可选 %} 辅助定义 －－可选 %% 识别规则 －－必须有 %% 用户子程序 －－可选

声明 所有嵌在“%{”和“%}”之间的内容将被原样拷贝到lex.yy.c文件中。 在声明中，可以引入头文件、宏定义以及全局变量的定义。 例如： %{ #include <stdio.h> int num_ident, num_keyword; %}

辅助定义 辅助定义可以用一个名字代表一个正规式。 辅助定义的语法是：辅助定义名 正规式 注意：辅助定义必须从第一列写起。 后面的辅助定义可以引用前面的辅助定义。 在正规式中，用“{辅助定义名}”可以引用相应的正规式。 例如： NEW_LINE (\n) INTEGER ([0-9]+) EXPONENT ([Ee][+-] {INTEGER})

识别规则 识别规则由两部分组成：正规式和相应的动作。 正规式用于描述输入串的词法结构。 动作用于描述识别出某一个词形时要完成的操作。 例如： %% void {return T_Void;}

LEX源程序举例
%{ int num_lines = 0, num_chars = 0; %} %% \n {++num_lines; ++num_chars;} . {++num_chars;} %% main(){ yylex(); printf("# of lines = %d, # of chars = %d\n", num_lines, num_chars ); }

识别规则的二义性 有时输入串中的字符可以与多条规则匹配，在这 种情况下，LEX有两个处理原则： 能匹配最多字符的规则优先； 若各规则匹配的字符数目相同，先给出的规则优先。 例如，给定规则如下： void {return T_Void;} [A-Za-z]+ {return T_Identifier;} “void”将被识别为T_Void， “voida”将被识别为T_Identifier。

实验结果： 编写的C程序如下：

%{ #include <stdio.h> #include <stdlib.h> #include <string.h> #define MAX 20

/----对同类的不同内容建立结构体，方便统计和输出---/ typedef struct { char* contest; int cnt; }Node;

/----对不同类的内容建立结构体---/ typedef struct { int num; Node seque[MAX]; }Type; Type Key,Ident,Const,Oper,Others; void insert(Type *p); void print_it(char name[],Type *p); void print(); %}

/-------辅助定义------/ whitespace ([ \t\n])+ keyword (if|then|while|do|read|write|call|begin|end|const|var|procedure|odd) id ([A-Za-z][A-Za-z0-9]*) numbers ([0-9])+ %% {whitespace} {} {keyword} { insert(&Key); } {id} { insert(&Ident); } {numbers} { insert(&Const); } "."|","|";"|":="|"="|"+"|"-"|"*"|"/"|"#"|">"|">="|"<"|"<="|"("|")"|"^" { insert(&Oper); } . { insert(&Others); } %%

//输出 void print_it(char name[],Type *p) { int i; yyout = fopen("output.txt","a+"); fprintf(yyout,"Class %s:\n",name ); for(i=0;i<p->num;i++){ fprintf(yyout,"\t%d. %s\t %d\n",i+1,p->seque[i].contest,p->seque[i].cnt ); } fprintf(yyout,"\n" ); fclose(yyout); } void print() { print_it("keyword",&Key); print_it("id",&Ident); print_it("Const",&Const); print_it("Operation",&Oper); print_it("Others",&Others); } //判断是否已经是该Type中的一员，并作相应操作

  int strange = 1;
  int i=0;
  if(p->num>=MAX) {
    printf("Error!\n");
    return;
  }
  if(strlen(yytext)>=MAX) {
    printf("Too long!\n");
    //return;
  }
  for( i=p->num-1;i>=0;--i ) {
    if(!strcmp(p->seque[i].contest,yytext)){
      ++p->seque[i].cnt;
      strange = 0;
      break;
    }
  if(strange){
    p->seque[p->num].contest = (char*)malloc(100*sizeof(char));
    strcpy(p->seque[p->num].contest,yytext);
    ++p->seque[p->num].cnt;
    ++p->num;
  }
  return;
}```
`int yywrap() {
  return 1;
}
`
`void main(int agrc, char* argv[])
{
  yyin = fopen(argv[1],"r");
  yylex();
  printf("-----Here is the output-------- \n");
  print();
  fclose(yyin);`
  `
  return ;
}`

复制代码