词法分析器

1 问题描述

对于如下文法所定义的PASCAL语言子集，试编写并上机调试一个词法分析程序：

<程序>→PROGRAM <标识符>;<分程序>.

<分程序>→<变量说明>BEGIN<语句表>END

<变量说明>→VAR<变量表>：<类型>；| <空>

<变量表>→<变量表>，<变量> | <变量>

<类型>→INTEGER

<语句表>→<语句表>；<语句> | <语句>

<语句>→<赋值语句> | <条件语句> | <WHILE语句> | <复合语句> | <过程定义>

<赋值语句>→<变量>：=<算术表达式>

<条件语句>→IF<关系表达式>THEN<语句>ELSE<语句>

<WHILE语句>→WHILE<关系表达式>DO<语句>

<复合语句>→BEGIN<语句表>END

<过程定义>→PROCEDURE<标识符><参数表>；

BEGIN<语句表>END

<参数表>→（<标识符表>）| <空>

<标识符表>→<标识符表>，<标识符> | <标识符>

<算术表达式>→<算术表达式>+<项> | <项>

<项>→<项>*<初等量> | <初等量>

<初等量>→（<算术表达式>）| <变量> | <无符号数>

<关系表达式>→<算术表达式><关系符><算术表达式>

<变量>→<标识符>

<标识符>→<标识符><字母> | <标识符><数学> | <字母>

<无符号数>→<无符号数><数字> | <数字>

<关系符>→= | < | <= | > | >= | <>

<字母>→A | B | C | ··· | X | Y | Z

<数字>→0 | 1 | 2 | ··· | 8 | 9

<空>→

要求和提示：

（1）    单词的分类。

可将所有标识符归为一类；将常数归为另一类；保留字和分隔符则采取一词一类。

（2）    符号表的建立。

可事先建立一保留字表，以备在识别保留字时进行查询。变量名表及常数表则在词法分析过程中建立。

（3）    单词串的输出形式。

所输出的每一单词，均按形如（CLASS,VALUE）的二元式编码。对于变量标识符和常数，CLASS字段为相应的类别码，VALUE字段则是该标识符、常数在其符号表中登记项的序号（要求在变量名表登记项中存放该标识符的字符串，其最大长度为四个字符；常数表登记项中则存放该整数的二进制形式。）。对于保留字和分隔号，由于采用一词一类的编码方式，所以仅需在二元式的CLASS字段上放置相应的单词的类别码，VALUE字段则为“空”。不过，为便于查看由词法分析程序所输出的单词串，也可以在CLASS字段上直接放置单词符号串本身。

2 C源代码

#include <stdio.h>
#include <ctype.h>
#include <string.h>
#define num 32
char *keysign[num]={
                      "auto","break","case","char",
       "const","continue","default","do",
       "double","else","enum","extern",
       "float","for","goto","if",
       "int","long","regist","return",
       "short","signed","sizeof","static",
       "struct","switch","typedef","union",
       "unsigned","void","volatile","while"};
FILE *fpin,*fpout,*outa,*outb,*outc;
char token[40];
int j=0;
int lookup()
{
    int i,k=0;
    for(i=0;i<=31;i++)
    {
        if(strcmp(token,keysign[i])==0)
        {
      k=1;
            return(1);
        }
    }
    if(k!=1)
        return(0);
}
void cltoken() 
{
    j=0;
    strcpy(token," ");
}
int scanner(void)
{
  char ch,in[40],out[40];
  char aa[40],bb[40],cc[40];
  int id=0;
  printf("please input the Source document name:");
  scanf("%s",in);
  printf("please input the document name which will be saved:");
  scanf("%s",out);
  printf("please input the aa document name which will be saved:");
  scanf("%s",aa);
  printf("please input the bb document name which will be saved:");
  scanf("%s",bb);
  printf("please input the cc document name which will be saved:");
  scanf("%s",cc);
  if((fpin=fopen(in,"rt"))==NULL)
  {
   printf("\nSource document file can't be found");
   return(1);
  }
  fpout=fopen(out,"wt");
  outa=fopen(aa,"wt");
  outb=fopen(bb,"wt");
  outc=fopen(cc,"wt");
  ch=fgetc(fpin);
  while(ch!=EOF)
  {
   if(isspace(ch))
   ch=fgetc(fpin);
   else if(isalpha(ch))
   {
    token[j]=ch;
    for(ch=fgetc(fpin);isalnum(ch)||ch=='_';ch=fgetc(fpin))
    token[++j]=ch;
    token[++j]='\0';
    id=lookup();
    printf("%d--->%s\n",id,token);
    fprintf(outa,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();  
   }
   else if(isdigit(ch))
   {
    token[j]=ch;
    for(ch=fgetc(fpin);isdigit(ch);ch=fgetc(fpin))
    token[++j]=ch;
    token[++j]='\0';
    id=2;
    printf("%d--->%s\n",id,token);
    fprintf(outb,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();
   }
   else if(ch=='!' || ch=='{' || ch=='*' || ch=='/' || ch=='%'|| ch=='}' || ch=='[' || ch==']'||ch=='(' ||ch==')'|| ch=='?')
    {
     id=3;
     printf("%d--->%c\n",id,ch);
     fprintf(outc,"%d--->%s\n",id,ch);
    fprintf(fpout,"%d--->%c\n",id,ch);
    ch=fgetc(fpin);
    }
    else if(ch=='=')
    {
     token[j]=ch;
     ch=fgetc(fpin);
     if(ch=='=') {token[++j]=ch;id=4;ch=fgetc(fpin);}
     else id=5;
     token[++j]='\0';
     printf("%d--->%s\n",id,token);
     fprintf(outc,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();
    }
    else if(ch=='&')
    {
     token[j]=ch;
     ch=fgetc(fpin);
     if(ch=='&') {token[++j]=ch;id=6;ch=fgetc(fpin);}
     else id=7;
     token[++j]='\0';
     printf("%d--->%s\n",id,token);
     fprintf(outc,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();
    }
    else if(ch=='>') 
    {
     token[j]=ch;
     ch=fgetc(fpin);
     if(ch=='=') {token[++j]=ch;id=8;ch=fgetc(fpin);}
     else id=9;
     token[++j]='\0';
     printf("%d--->%s\n",id,token);
     fprintf(outc,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();
    }
    else if(ch=='<') 
    {
     token[j]=ch;
     ch=fgetc(fpin);
     if(ch=='=') {token[++j]=ch;id=10;}
     else id=11;
     token[++j]='\0';
     printf("%d--->%s\n",id,token);
     fprintf(outc,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();
    }
    else if(ch=='+') 
    {
     token[j]=ch;
     ch=fgetc(fpin);
     if(ch=='+') {token[++j]=ch;id=12;ch=fgetc(fpin);}
     else id=13;
     token[++j]='\0';
     printf("%d--->%s\n",id,token);
     fprintf(outc,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();
    }
    else if(ch=='-') 
    {
     token[j]=ch;
     ch=fgetc(fpin);
     if(ch=='-') {token[++j]=ch;id=14;ch=fgetc(fpin);}
     else id=15;
     token[++j]='\0';
     printf("%d--->%s\n",id,token);
     fprintf(outc,"%d--->%s\n",id,token);
    fprintf(fpout,"%d--->%s\n",id,token);
    cltoken();
    }
    else
    {
       token[0]=ch;
       token[1]='\0';
       printf("%d--->%s\n",id,token);
       fprintf(fpout,"%d--->%s\n",id,token);
       ch=fgetc(fpin);
    }
  }
fclose(fpin);
fclose(fpout);
fclose(outa);
fclose(outb);
fclose(outc);
return(1);
}
void main(void)
{
 scanner();
 printf("The lexical analysis has been completed successfully!");
}