词法分析器 【编译原理】C++实现}

已于 2022-05-26 16:27:15 修改
阅读量4.6k 收藏 72
点赞数 8
文章标签： c++ 开发语言 算法
于 2022-05-24 17:16:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sddya/article/details/124950434
版权
该实验涉及词法分析程序的编写，要求根据给定的文法识别源程序中的单词并输出其类别和值。程序采用直接编程方法实现，处理包括保留字、标识符、运算符和常量等。实验提供了输入输出样例，并设定了评分标准。程序通过读取testfile.txt文件，输出到output.txt中，实现了对输入源程序的词法分析。
摘要由CSDN通过智能技术生成

一、实验内容：

【问题描述】

请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下：

   （1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义；

   （2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt；输出的结果文件统一命名为output.txt，结果文件中每行按如下方式组织：

单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义：

单词名称

类别码

单词名称

类别码

单词名称

类别码

单词名称

类别码

标识符

IDENFR

if

IFTK

-

MINU

= 

ASSIGN

整型常量

INTCON

else

ELSETK

*

MULT

;

SEMICN

字符常量

CHARCON

do

DOTK

/

DIV

,

COMMA

字符串

STRCON

while

WHILETK

< 

LSS

(

LPARENT

const

CONSTTK

for

FORTK

<=

LEQ

)

RPARENT

int

INTTK

scanf

SCANFTK

> 

GRE

[

LBRACK

char

CHARTK

printf

PRINTFTK

>=

GEQ

]

RBRACK

void

VOIDTK

return

RETURNTK

== 

EQL

{

LBRACE

main

MAINTK

+

PLUS

!= 

NEQ

}

RBRACE

【输入形式】testfile.txt中的符合文法要求的测试程序。
【输出形式】要求将词法分析结果输出至output.txt中。
【样例输入】

const int const1 = 1, const2 = -100;

const char const3 = '_';

int change1;

char change3;

int gets1(int var1,int var2){

    change1 = var1 + var2;

    return (change1);

}

void main(){

    printf("Hello World");

    printf(gets1(10, 20));

}

【样例输出】

CONSTTK const

INTTK int

IDENFR const1

ASSIGN =

INTCON 1

COMMA ,

IDENFR const2

ASSIGN =

MINU -

INTCON 100

SEMICN ;

CONSTTK const

CHARTK char

IDENFR const3

ASSIGN =

CHARCON _

SEMICN ;

INTTK int

IDENFR change1

SEMICN ;

CHARTK char

IDENFR change3

SEMICN ;

INTTK int

IDENFR gets1

LPARENT (

INTTK int

IDENFR var1

COMMA ,

INTTK int

IDENFR var2

RPARENT )

LBRACE {

IDENFR change1

ASSIGN =

IDENFR var1

PLUS +

IDENFR var2

SEMICN ;

RETURNTK return

LPARENT (

IDENFR change1

RPARENT )

SEMICN ;

RBRACE }

VOIDTK void

MAINTK main

LPARENT (

RPARENT )

LBRACE {

PRINTFTK printf

LPARENT (

STRCON Hello World

RPARENT )

SEMICN ;

PRINTFTK printf

LPARENT (

IDENFR gets1

LPARENT (

INTCON 10

COMMA ,

INTCON 20

RPARENT )

RPARENT )

SEMICN ;

RBRACE }

【评分标准】 按与预期结果不一致的项数（每一行单词信息算一项）扣分，每项扣5%。

二、实验过程

1、根据DFA构造词法分析程序

直接编程的词法分析程序

（1）、适合词法比较简单的、手工实现、比较精简，分析速度快。

（2）、与要识别的语言单词密切相关，一旦词法规则发生变化，则要重新编写程序。

（3）、通过程序的控制流转移来完成对输入字符的响应，程序中的每一条语句都要与识别的单词符号有关。

 2、表驱动的词法分析程序

（1）、一种典型的数据与操作的分离的工作模式，控制程序不变；不同的词法分        析器实质上是构造不同的分析表。

（2）、为词法分析程序的自动生成提供了极大的方便

（3）、程序比较复杂，分析速度慢一些

3、实验步骤

：

（1）、输入：源文件字符序列testfile.txt

   任务：识别单词符号；滤过空格、注释等

   依据：TEST语言的词法规则

   输出：字符流（单词）

（2）、本实验我设计的词法分析器：

①能够识别出保留字、标识符、单分符、双分符、常量

②利用表驱动法识别注释并且滤过注释

三 实验代码

#include<string.h>
#include<string>
#include<stdio.h>
#include<fstream>
#define   MAX 22             
#define   RES_MAX   13        
#define   MAXBUF 255         

char   ch =' ';             
int Line_NO;                

struct keywords    
{
char lexptr[MAXBUF];
int token;
};
struct keywords symtable[MAX];
char  in[MAX] [10]= { "const","int","main","void","char","if","else","do","while","for","scanf","printf","return" };
char out[MAX] [10] =  { "CONSTTK","INTTK","MAINTK","VOIDTK","CHARTK","IFTK","ELSETK","DOTK","WHILETK","FORTK","SCANFTK","PRINTFTK","RETURNTK" };

void init() 
{           
	int j;
	for(j=0; j<MAX; j++)
	{
	   strcpy(symtable[j].lexptr,in[j]);
	   symtable[j].token=j;   
	}
}

int Iskeyword(char * is_res){
   int i;
   for(i=0;i<MAX;i++){
     if((strcmp(symtable[i].lexptr,is_res))==0) break;
   }
   if(i<MAX) return   symtable[i].token;
   else return 0;
}

int IsLetter(char c)
{
   if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))|| (ch == '_')) return 1;
    else return 0;
}

int IsDigit(char c){
   if(c>='0'&&c<='9') return 1;
   else return 0;
}

void analyse(FILE *fpin,FILE *fpout){
    char arr[MAXBUF];	
    int j=0;
    while((ch=fgetc(fpin))!=EOF)
	{
    if(ch==' '||ch=='\t'){}
    else if(ch=='\n')
	{Line_NO++;}
   else if(IsLetter(ch)){
       while(IsLetter(ch)||IsDigit(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
        }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
       if (Iskeyword(arr))
	   {   
	      int a;
	      a=Iskeyword(arr);
	      fprintf(fpout,"%s %s\n",out[a],arr);
			 
        }
        else if(!strcmp(arr,"const"))
        fprintf(fpout,"CONSTTK %s\n",arr);
        
		else
			fprintf(fpout,"IDENFR %s\n",arr);     
   }
   else if(int(ch)==34||int(ch)==39)
	  {
			ch=fgetc(fpin);
			char ar[MAXBUF];int i,j=0; 
            while(int(ch)!=34&&int(ch)!=39)
			{
                 ar[j]=ch;
                j++;
                ch=fgetc(fpin);
           }
            int length = strlen(ar);
            
            if(length ==1)
			{
			    fprintf(fpout,"CHARCON %s\n",ar);
            }
            else{
            	fprintf(fpout,"STRCON %s\n",ar);
            }
            for(i=0;i<length;i++)
            ar[i]='\0';
            
    }
   
   else if(IsDigit(ch)){
	int s=0;
      while(IsDigit(ch)||IsLetter(ch)){
		if(IsLetter(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
			s=1;
		}
	 	else if(IsDigit(ch)){
			arr[j]=ch;
            j++;
            ch=fgetc(fpin);
		}		  
    }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
	if(s==0)
		fprintf(fpout,"INTCON %s\n",arr) ; 
	else if(s==1)
		fprintf(fpout,"INTTK %s\n",arr) ; 
      }
	  else switch(ch)
	  {           
            case'+' :fprintf(fpout,"PLUS %s\n","+");break;
            case'-' :fprintf(fpout,"MINU %s\n","-");break;
            case'*' :fprintf(fpout,"MULT %s\n","*");break;
            case'(' :fprintf(fpout,"LPARENT %s\n","(");break;
            case')' :fprintf(fpout,"RPARENT %s\n",")");break;
            case'[' :fprintf(fpout,"LBRACK %s\n","[");break;
            case']' :fprintf(fpout,"RBRACK %s\n","]");break;                      
            case';' :fprintf(fpout,"SEMICN %s\n",";");break;
            case'/' :fprintf(fpout,"DIV %s\n","/");break;
            case',' :fprintf(fpout,"COMMA %s\n",",");break;
			case' ' :fprintf(fpout,"NEQ %s\n"," ");break; 
			case'{' :fprintf(fpout,"LBRACE %s\n","{");break;
			case'}' :fprintf(fpout,"RBRACE %s\n","}");break; 
			case'=' :{
				ch=fgetc(fpin);
				if(ch=='=')
				fprintf(fpout,"EQL %s\n","==");
				else{
					fprintf(fpout,"ASSIGN %s\n","=");
					fseek(fpin,-1L,SEEK_CUR);
				}
				
			}break;
			case'!':{
				
				ch=fgetc(fpin);
				if(ch=='=')
				fprintf(fpout,"NEQ %s\n","!=");
			}break;
				
            case'>' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"GEQ %s\n",">=");
		        else {
					fprintf(fpout,"GRE %s\n",">");
					fseek(fpin,-1L,SEEK_CUR);
				}
    		}break;

            case'<' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"LEQ %s\n","<=");
		        else
				{
				 	fprintf(fpout,"LSS %s\n","<");
				 	fseek(fpin,-1L,SEEK_CUR);}
            }break;                         
               default :break;
        }
    }}
int main()
{
   char in_fn[25],out_fn[25];
   FILE * fpin,* fpout; 
   fpin=fopen("testfile.txt","r");
   fpout=fopen("output.txt","w");
   init();
   analyse(fpin,fpout);
   fclose(fpin);
   fclose(fpout);
   printf(".....程序已分析完成分析并保存至目标文件\n");
   return 0;
}

四、运行举例

 

 testfile.txt文件：

output.txt文件：（没截全）

说明：这个是我学校实验平台的题目，代码没有写注释，看不懂的地方可以留言，有时间会把注释 加上 （如果是同学看到的话，希望不要借鉴，平台有查重）

戴回回
关注
  • 8
    点赞
  • 踩
  • 72
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
C++实现词法分析器
05-17
1、该词法分析器要求至少能够识别以下几类单词： （1）关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写； （2）标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*； （3）常数：NUM=(+ | - |ε)digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123, -123, +123等；小数，如123.45, +123.45, -123.45；科学计数法表示的常数，如+1.23e3，-2.3e-9； （4）专用符号：+ - * / < >= == != = ; , ( ) [ ] { } /* */。 2、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。 3、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。
编译原理——词法分析器 C++实现
热门推荐
weixin_45693492的博客
04-12 2万+
词法分析器实验目的单词分类表单词结构描述单词状态转换图算法描述程序结构源代码实验结果 实验目的 对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程序字符串的词法分析。 培养团队合作精神，体会协同工作在解决问题中的作用。 单词分类表 单词符号 种类 种别码 单词符号 种类 种别码 未定义符号 未定义符号 0 =...
词法分析器 /c++实现
weixin_34080951的博客
06-28 128
#include<iostream> #include<string> #include<vector> #include<map> #include<cstdio> #include<cstring> #include<cstdlib> using namespace std; int line=1,ro...
c++实现词法分析器
03-24
c++ ，词法分析器， 编译原理， c语言的词法分析，代码详细，很易懂
词法分析器（c++）
yizhizhazhahui的博客
11-27 6260
c++，编译原理实验，词法分析器
编译原理实践：C++实现词法分析器.rar
06-23
本资源使用C++实现了词法分析器，内容包括C++源代码与exe...该资源的文字版信息请访问博客《编译原理实践：C++实现词法分析器（学习笔记）》（https://blog.csdn.net/weixin_40589192/article/details/106927940）。
编译原理 词法分析器 c++实现
12-05
参考附录C.1设计一个简单语言的词法分析程序，要求能够处理换行回车、注释（自定义注释格式）、部分符合运算符（如>= 、 等）。 注意： 附录C.1采用的是控制台输入输出的方式，测试数据要用文本文件保存好。
基于C++实现词法分析器构造及语法分析器构造(编译原理实验)【100012259】
05-18
通过对给定源语言词法分析程序的设计，加深对词法分析原理的理解，掌握源语言的接受、存贮、预处理和扫描分析，生成正确的 单词符号串二元式序列。 借助于词法分析程序提供的分析结果，设计一个算符优先语法分析...
编译原理 - 词法分析：C/C++实现
最新发布
11-15
其次，我在实验中学到了如何设计和实现词法分析器的基本框架和算法，并且了解了正则表达式的基本规则和常用操作符，以及如何使用正则表达式定义词法规则，从而构建词法分析器。在实验过程中，我遇到了困难包括：理解...
基于C++实现词法分析器与语法分析器(编译原理) 【100012138】
05-15
创建一个词法分析程序，它支持对正规文法的分析。必须使用DFA（确定性有限自动机）或NFA（非确定性有限自动机）来实现这一项目。该程序的输入是一个文本文件，包括一组由该正规文法产生的产生式以及待识别源代码字符...
单词的词法分析程序设计
12-24
对于给定的源程序（如C语言或Pascal等），要求从组成源程序的字符行中寻找出单词，并给出它们的种别和属性——输出二元组序列。以便提供给语法分析的时候使用。要求能识别所有的关键字，标志符等，并且能够对出先的一些词法规则的错误进行必要的处理
编译原理-词法分析器-C++
04-16
编译原理-词法分析器-C++
编译原理---词法分析器的简单实现(c++)
weixin_43919032的博客
04-05 4738
什么是词法分析器 简单来说，词法分析器，就是将用户输入的代码（一个个字符）通过某种方式拼接成有意义的一个个字符片段，什么是有意义呢？不同语言的定义不太相同，但大体来说，有意义表示这五类：关键字、标识符、数字串、运算符和分隔符、空白字符。拼接的方式多种多样，可以使用DFA也可以单纯的进行字符的拼接。 大致思路 这里就使用字符的拼接，由于这个程序比较简单，就每次判断下一个字符是字母、数字或者下划...
编译原理（1）简单词法分析程序（C++实现）
CH_whale的博客
11-21 1505
（1）判断由科学计数法表示的整数的正则表达式不完整，存在缺漏。（2）以逗号分割单句表达式，当char或string语句中存在逗号时，会出错。改进思路：当逗号存在于char或string中时，进行优先级判断。
利用c++进行程序词法分析
王陈锋的博客
10-03 3909
2. 编写的分析程序能够正确识别源程序中的单词符号，包括：标识符、关键字、常见运算符、分隔符、整数、小数、单行注释，字符常数，字符串常数；对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误提示，保证顺利完成整个源程序的词法分析；自定义一种程序设计语言，或者选择已有的一种高级语言，利用状态转换图编制它的词法分析程序。3. 识别出的单词以的形式输出或保存；能够使编写的分析程序对简单的程序段进行词法分析。1. 对单词的构词规则有明确的定义；实现简单的词法分析程序；
C语言词法分析器(C++语言实现)
阿伟のBlog
09-20 6472
C语言词法分析器(C++语言实现) 这是老师布置的编译原理的实验课任务,课余时间花了近一个星期的时间去编写代码(主要是C++太久没有用了,好多函数都不熟悉,查阅了很多资料),这次的词法分析也没有语法错误判断功能,如果想要增加功能可以在相关函数代码段增加即可.对于此法单元的种别码也只是简单区分,不过自己加上去就可以了 c语言词法分析流程如图所示: 代码如下:这次的代码算是我对代码整洁之道前期知识的一个练习,特别是变量的命名以及函数的编写,如果觉得写的不错可以看看我关于代码整洁之道的相关文章 这次的代码基
编译原理词法分析器（C/C++）
沉在海里的鱼的博客
03-24 1万+
词法分析器不用多说，一开始我还不知道是什么样的，看了下别人的博客，再看看书，原来是输出二元组，这不就是字符串操作嘛。然后细看几篇博客，发现大都是用暴力判断来写的。我对代码重复性比较高的方法不太感冒，不是说我编程有多好，就是单纯的不喜欢。于是我就想到了用偏移量的方法，先弄好单词分类器，再用几个数组将关键字、运算符、界符的所有定义的字符串保存为全局变量，顺序要按单词分类器的顺序，然后根据这三种字符串在表中的位置，定一个偏移量。
简单词法分析器——C++实现 （编译原理作业）
qq_53485165的博客
04-18 5576
词法分析器——C++实现 单词符号表示 （1）标识符：以字母开头的包含字母和数字的符号 （2）保留字：while、if、else、switch、case （3）常数：数字0~9 （4）运算符：+、-、*、<、<=、==、= （5）界符：； （6）需略除的：空格、制表符、换行符 主要函数 concatenation() //连接token和character中字符作为token中新的字符串 letter ()//判断是否字母 digit() //判断是否数字 reserve() //按照tok
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值