词法分析器 【编译原理】C++实现}

已于 2022-05-26 16:27:15 修改
阅读量5k 收藏 77
点赞数 8
文章标签： c++ 开发语言 算法
于 2022-05-24 17:16:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sddya/article/details/124950434
版权
该实验涉及词法分析程序的编写，要求根据给定的文法识别源程序中的单词并输出其类别和值。程序采用直接编程方法实现，处理包括保留字、标识符、运算符和常量等。实验提供了输入输出样例，并设定了评分标准。程序通过读取testfile.txt文件，输出到output.txt中，实现了对输入源程序的词法分析。
摘要由CSDN通过智能技术生成

一、实验内容：

【问题描述】

请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下：

   （1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义；

   （2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt；输出的结果文件统一命名为output.txt，结果文件中每行按如下方式组织：

单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义：

单词名称

类别码

单词名称

类别码

单词名称

类别码

单词名称

类别码

标识符

IDENFR

if

IFTK

-

MINU

= 

ASSIGN

整型常量

INTCON

else

ELSETK

*

MULT

;

SEMICN

字符常量

CHARCON

do

DOTK

/

DIV

,

COMMA

字符串

STRCON

while

WHILETK

< 

LSS

(

LPARENT

const

CONSTTK

for

FORTK

<=

LEQ

)

RPARENT

int

INTTK

scanf

SCANFTK

> 

GRE

[

LBRACK

char

CHARTK

printf

PRINTFTK

>=

GEQ

]

RBRACK

void

VOIDTK

return

RETURNTK

== 

EQL

{

LBRACE

main

MAINTK

+

PLUS

!= 

NEQ

}

RBRACE

【输入形式】testfile.txt中的符合文法要求的测试程序。
【输出形式】要求将词法分析结果输出至output.txt中。
【样例输入】

const int const1 = 1, const2 = -100;

const char const3 = '_';

int change1;

char change3;

int gets1(int var1,int var2){

    change1 = var1 + var2;

    return (change1);

}

void main(){

    printf("Hello World");

    printf(gets1(10, 20));

}

【样例输出】

CONSTTK const

INTTK int

IDENFR const1

ASSIGN =

INTCON 1

COMMA ,

IDENFR const2

ASSIGN =

MINU -

INTCON 100

SEMICN ;

CONSTTK const

CHARTK char

IDENFR const3

ASSIGN =

CHARCON _

SEMICN ;

INTTK int

IDENFR change1

SEMICN ;

CHARTK char

IDENFR change3

SEMICN ;

INTTK int

IDENFR gets1

LPARENT (

INTTK int

IDENFR var1

COMMA ,

INTTK int

IDENFR var2

RPARENT )

LBRACE {

IDENFR change1

ASSIGN =

IDENFR var1

PLUS +

IDENFR var2

SEMICN ;

RETURNTK return

LPARENT (

IDENFR change1

RPARENT )

SEMICN ;

RBRACE }

VOIDTK void

MAINTK main

LPARENT (

RPARENT )

LBRACE {

PRINTFTK printf

LPARENT (

STRCON Hello World

RPARENT )

SEMICN ;

PRINTFTK printf

LPARENT (

IDENFR gets1

LPARENT (

INTCON 10

COMMA ,

INTCON 20

RPARENT )

RPARENT )

SEMICN ;

RBRACE }

【评分标准】 按与预期结果不一致的项数（每一行单词信息算一项）扣分，每项扣5%。

二、实验过程

1、根据DFA构造词法分析程序

直接编程的词法分析程序

（1）、适合词法比较简单的、手工实现、比较精简，分析速度快。

（2）、与要识别的语言单词密切相关，一旦词法规则发生变化，则要重新编写程序。

（3）、通过程序的控制流转移来完成对输入字符的响应，程序中的每一条语句都要与识别的单词符号有关。

 2、表驱动的词法分析程序

（1）、一种典型的数据与操作的分离的工作模式，控制程序不变；不同的词法分        析器实质上是构造不同的分析表。

（2）、为词法分析程序的自动生成提供了极大的方便

（3）、程序比较复杂，分析速度慢一些

3、实验步骤

：

（1）、输入：源文件字符序列testfile.txt

   任务：识别单词符号；滤过空格、注释等

   依据：TEST语言的词法规则

   输出：字符流（单词）

（2）、本实验我设计的词法分析器：

①能够识别出保留字、标识符、单分符、双分符、常量

②利用表驱动法识别注释并且滤过注释

三 实验代码

#include<string.h>
#include<string>
#include<stdio.h>
#include<fstream>
#define   MAX 22             
#define   RES_MAX   13        
#define   MAXBUF 255         

char   ch =' ';             
int Line_NO;                

struct keywords    
{
char lexptr[MAXBUF];
int token;
};
struct keywords symtable[MAX];
char  in[MAX] [10]= { "const","int","main","void","char","if","else","do","while","for","scanf","printf","return" };
char out[MAX] [10] =  { "CONSTTK","INTTK","MAINTK","VOIDTK","CHARTK","IFTK","ELSETK","DOTK","WHILETK","FORTK","SCANFTK","PRINTFTK","RETURNTK" };

void init() 
{           
	int j;
	for(j=0; j<MAX; j++)
	{
	   strcpy(symtable[j].lexptr,in[j]);
	   symtable[j].token=j;   
	}
}

int Iskeyword(char * is_res){
   int i;
   for(i=0;i<MAX;i++){
     if((strcmp(symtable[i].lexptr,is_res))==0) break;
   }
   if(i<MAX) return   symtable[i].token;
   else return 0;
}

int IsLetter(char c)
{
   if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))|| (ch == '_')) return 1;
    else return 0;
}

int IsDigit(char c){
   if(c>='0'&&c<='9') return 1;
   else return 0;
}

void analyse(FILE *fpin,FILE *fpout){
    char arr[MAXBUF];	
    int j=0;
    while((ch=fgetc(fpin))!=EOF)
	{
    if(ch==' '||ch=='\t'){}
    else if(ch=='\n')
	{Line_NO++;}
   else if(IsLetter(ch)){
       while(IsLetter(ch)||IsDigit(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
        }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
       if (Iskeyword(arr))
	   {   
	      int a;
	      a=Iskeyword(arr);
	      fprintf(fpout,"%s %s\n",out[a],arr);
			 
        }
        else if(!strcmp(arr,"const"))
        fprintf(fpout,"CONSTTK %s\n",arr);
        
		else
			fprintf(fpout,"IDENFR %s\n",arr);     
   }
   else if(int(ch)==34||int(ch)==39)
	  {
			ch=fgetc(fpin);
			char ar[MAXBUF];int i,j=0; 
            while(int(ch)!=34&&int(ch)!=39)
			{
                 ar[j]=ch;
                j++;
                ch=fgetc(fpin);
           }
            int length = strlen(ar);
            
            if(length ==1)
			{
			    fprintf(fpout,"CHARCON %s\n",ar);
            }
            else{
            	fprintf(fpout,"STRCON %s\n",ar);
            }
            for(i=0;i<length;i++)
            ar[i]='\0';
            
    }
   
   else if(IsDigit(ch)){
	int s=0;
      while(IsDigit(ch)||IsLetter(ch)){
		if(IsLetter(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
			s=1;
		}
	 	else if(IsDigit(ch)){
			arr[j]=ch;
            j++;
            ch=fgetc(fpin);
		}		  
    }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
	if(s==0)
		fprintf(fpout,"INTCON %s\n",arr) ; 
	else if(s==1)
		fprintf(fpout,"INTTK %s\n",arr) ; 
      }
	  else switch(ch)
	  {           
            case'+' :fprintf(fpout,"PLUS %s\n","+");break;
            case'-' :fprintf(fpout,"MINU %s\n","-");break;
            case'*' :fprintf(fpout,"MULT %s\n","*");break;
            case'(' :fprintf(fpout,"LPARENT %s\n","(");break;
            case')' :fprintf(fpout,"RPARENT %s\n",")");break;
            case'[' :fprintf(fpout,"LBRACK %s\n","[");break;
            case']' :fprintf(fpout,"RBRACK %s\n","]");break;                      
            case';' :fprintf(fpout,"SEMICN %s\n",";");break;
            case'/' :fprintf(fpout,"DIV %s\n","/");break;
            case',' :fprintf(fpout,"COMMA %s\n",",");break;
			case' ' :fprintf(fpout,"NEQ %s\n"," ");break; 
			case'{' :fprintf(fpout,"LBRACE %s\n","{");break;
			case'}' :fprintf(fpout,"RBRACE %s\n","}");break; 
			case'=' :{
				ch=fgetc(fpin);
				if(ch=='=')
				fprintf(fpout,"EQL %s\n","==");
				else{
					fprintf(fpout,"ASSIGN %s\n","=");
					fseek(fpin,-1L,SEEK_CUR);
				}
				
			}break;
			case'!':{
				
				ch=fgetc(fpin);
				if(ch=='=')
				fprintf(fpout,"NEQ %s\n","!=");
			}break;
				
            case'>' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"GEQ %s\n",">=");
		        else {
					fprintf(fpout,"GRE %s\n",">");
					fseek(fpin,-1L,SEEK_CUR);
				}
    		}break;

            case'<' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"LEQ %s\n","<=");
		        else
				{
				 	fprintf(fpout,"LSS %s\n","<");
				 	fseek(fpin,-1L,SEEK_CUR);}
            }break;                         
               default :break;
        }
    }}
int main()
{
   char in_fn[25],out_fn[25];
   FILE * fpin,* fpout; 
   fpin=fopen("testfile.txt","r");
   fpout=fopen("output.txt","w");
   init();
   analyse(fpin,fpout);
   fclose(fpin);
   fclose(fpout);
   printf(".....程序已分析完成分析并保存至目标文件\n");
   return 0;
}

四、运行举例

 

 testfile.txt文件：

output.txt文件：（没截全）

说明：这个是我学校实验平台的题目，代码没有写注释，看不懂的地方可以留言，有时间会把注释 加上 （如果是同学看到的话，希望不要借鉴，平台有查重）

戴回回
关注
【编译原理与技术】词法分析器（C++实现）
Slimshady的博客
06-26 2372
目录注：单词：实现功能：C++代码：运行结果： 注： 为了简化程序的编写，做了如下的限制： （1） 空白符仅仅是空格、回车符、制表符。 （2） 代码是自由格式。 （3） 注释不允许嵌套。 单词： 根据要求，可以自行添加其他保留字或者特殊符号 实现功能： 识别单词并给出其类型 删除注释行 删除空白符 (空格、回车符、制表符) 在单词的前面加上行号 发现并定位错误。 C++代码： #...
C++实现词法分析器
05-17
1、该词法分析器要求至少能够识别以下几类单词： （1）关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写； （2）标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*； （3）常数：NUM=(+ | - |ε)digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123, -123, +123等；小数，如123.45, +123.45, -123.45；科学计数法表示的常数，如+1.23e3，-2.3e-9； （4）专用符号：+ - * / < >= == != = ; , ( ) [ ] { } /* */。 2、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。 3、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。
编译原理——词法分析器 C++实现
热门推荐
weixin_45693492的博客
04-12 2万+
词法分析器实验目的单词分类表单词结构描述单词状态转换图算法描述程序结构源代码实验结果 实验目的 对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程序字符串的词法分析。 培养团队合作精神，体会协同工作在解决问题中的作用。 单词分类表 单词符号 种类 种别码 单词符号 种类 种别码 未定义符号 未定义符号 0 =...
词法分析器 /c++实现
weixin_34080951的博客
06-28 129
#include<iostream> #include<string> #include<vector> #include<map> #include<cstdio> #include<cstring> #include<cstdlib> using namespace std; int line=1,ro...
c++实现词法分析器
03-24
c++ ，词法分析器， 编译原理， c语言的词法分析，代码详细，很易懂
词法分析器（c++）
yizhizhazhahui的博客
11-27 6271
c++，编译原理实验，词法分析器
编译原理实践：C++实现词法分析器.rar
06-23
本资源使用C++实现了词法分析器，内容包括C++源代码与exe...该资源的文字版信息请访问博客《编译原理实践：C++实现词法分析器（学习笔记）》（https://blog.csdn.net/weixin_40589192/article/details/106927940）。
编译原理词法分析器和语法分析器的实现（C++）.zip
最新发布
04-17
编译原理词法分析器和语法分析器的实现（C++） 编译原理中的词法分析器和语法分析器是编译器的重要组成部分，它们分别负责将源代码转换为词法单元和抽象语法树。以下是一个简化的项目介绍，描述了如何使用C++实现这...
编译原理 词法分析器 c++实现
12-05
参考附录C.1设计一个简单语言的词法分析程序，要求能够处理换行回车、注释（自定义注释格式）、部分符合运算符（如>= 、 等）。 注意： 附录C.1采用的是控制台输入输出的方式，测试数据要用文本文件保存好。
基于C++实现词法分析器构造及语法分析器构造(编译原理实验)【100012259】
05-18
通过对给定源语言词法分析程序的设计，加深对词法分析原理的理解，掌握源语言的接受、存贮、预处理和扫描分析，生成正确的 单词符号串二元式序列。 借助于词法分析程序提供的分析结果，设计一个算符优先语法分析...
编译原理-词法分析器-C++
04-16
编译原理-词法分析器-C++
编译原理 - 词法分析：C/C++实现
11-15
其次，我在实验中学到了如何设计和实现词法分析器的基本框架和算法，并且了解了正则表达式的基本规则和常用操作符，以及如何使用正则表达式定义词法规则，从而构建词法分析器。在实验过程中，我遇到了困难包括：理解...
编译原理---词法分析器的简单实现(c++)
weixin_43919032的博客
04-05 4758
什么是词法分析器 简单来说，词法分析器，就是将用户输入的代码（一个个字符）通过某种方式拼接成有意义的一个个字符片段，什么是有意义呢？不同语言的定义不太相同，但大体来说，有意义表示这五类：关键字、标识符、数字串、运算符和分隔符、空白字符。拼接的方式多种多样，可以使用DFA也可以单纯的进行字符的拼接。 大致思路 这里就使用字符的拼接，由于这个程序比较简单，就每次判断下一个字符是字母、数字或者下划...
编译原理（1）简单词法分析程序（C++实现）
CH_whale的博客
11-21 1519
（1）判断由科学计数法表示的整数的正则表达式不完整，存在缺漏。（2）以逗号分割单句表达式，当char或string语句中存在逗号时，会出错。改进思路：当逗号存在于char或string中时，进行优先级判断。
利用c++进行程序词法分析
王陈锋的博客
10-03 3922
2. 编写的分析程序能够正确识别源程序中的单词符号，包括：标识符、关键字、常见运算符、分隔符、整数、小数、单行注释，字符常数，字符串常数；对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误提示，保证顺利完成整个源程序的词法分析；自定义一种程序设计语言，或者选择已有的一种高级语言，利用状态转换图编制它的词法分析程序。3. 识别出的单词以的形式输出或保存；能够使编写的分析程序对简单的程序段进行词法分析。1. 对单词的构词规则有明确的定义；实现简单的词法分析程序；
C语言词法分析器(C++语言实现)
阿伟のBlog
09-20 6472
C语言词法分析器(C++语言实现) 这是老师布置的编译原理的实验课任务,课余时间花了近一个星期的时间去编写代码(主要是C++太久没有用了,好多函数都不熟悉,查阅了很多资料),这次的词法分析也没有语法错误判断功能,如果想要增加功能可以在相关函数代码段增加即可.对于此法单元的种别码也只是简单区分,不过自己加上去就可以了 c语言词法分析流程如图所示: 代码如下:这次的代码算是我对代码整洁之道前期知识的一个练习,特别是变量的命名以及函数的编写,如果觉得写的不错可以看看我关于代码整洁之道的相关文章 这次的代码基
编译原理词法分析器（C/C++）
沉在海里的鱼的博客
03-24 1万+
词法分析器不用多说，一开始我还不知道是什么样的，看了下别人的博客，再看看书，原来是输出二元组，这不就是字符串操作嘛。然后细看几篇博客，发现大都是用暴力判断来写的。我对代码重复性比较高的方法不太感冒，不是说我编程有多好，就是单纯的不喜欢。于是我就想到了用偏移量的方法，先弄好单词分类器，再用几个数组将关键字、运算符、界符的所有定义的字符串保存为全局变量，顺序要按单词分类器的顺序，然后根据这三种字符串在表中的位置，定一个偏移量。
请根据给定的文法设计并实现词法分析程序
06-28
### 回答1： 很抱歉，作为AI语言模型，我无法提供代码实现。但是，我可以给您提供一些关于词法分析程序的设计思路。 词法分析程序的设计需要遵循给定的文法规则，将输入的字符序列转换成一个个单词符号（token）。一般来说，词法分析程序的实现可以分为以下几个步骤： 1. 定义单词符号的类型：根据文法规则，定义单词符号的类型，例如关键字、标识符、常量、运算符等。 2. 定义正则表达式：根据单词符号的类型，定义相应的正则表达式，用于匹配输入的字符序列。 3. 实现词法分析器：根据定义的正则表达式，实现词法分析器，将输入的字符序列转换成一个个单词符号。 4. 错误处理：在词法分析的过程中，如果遇到不符合文法规则的字符序列，需要进行错误处理，例如报错或者忽略错误。 以上是词法分析程序的基本设计思路，具体实现还需要根据具体的文法规则进行调整。 ### 回答2： 词法分析程序是编译器的第一个阶段，它的主要任务是将源代码分割成单个的词素（token），识别并排序出源代码中各种类型的词素，并将其转化成一个令牌流（token stream），作为编译器后续处理的输入。 设计词法分析程序的关键是按照编程语言的文法规则进行分词，判断每个词素的类别，并将其转换为对应的令牌流。下面是实现词法分析程序的基本步骤： 1. 读取源代码：词法分析程序需要从源代码文件中读取字符流，并缓存字符以便后面逐个字符分析。 2. 字符解析：程序读取每一个字符，并根据编程语言文法规则解析成不同类型的词素。例如，关键字、标识符、数字、运算符、分隔符等外在元素都需要被正确地识别并转化为相应的词素，分词的结果也应该存储其所属类型，如运算符或标识符等，以及其所在的行列信息。 3. 构造令牌流：当所有的词素都被识别和排序之后，构造出相应的令牌流，以后续阶段的编译器处理作为输入。令牌流是由一个个单独的token组成的，每个token都包含了该词素的值和类型信息。 在实现词法分析程序时，需要注意以下几点： 1. 根据编程语言的文法规则进行分词，以确保每个词素都被识别和转换为相应类型的令牌流。 2. 应该具备较好的纠错能力，当代码中出现错误时，应该能够及时捕捉并给用户提供有用的提示信息。 3. 在字符解析的过程中，应该注意处理空格、换行符等空白符，不会对代码意义产生影响的空白符应该被忽略。 4. 令牌流应该按照代码中出现的顺序构造，以确保后续程序能够依照正确的顺序进行处理。 综上所述，实现词法分析程序需要很好地掌握编程语言的文法规则和相应的分词技术，并对程序的纠错能力及语法和意义等方面有较深刻的理解。 ### 回答3： 词法分析器是编译器中的重要组成部分，它用于将源程序转换为一个个词法单元。在本题中，我们需要根据给定文法设计和实现一个词法分析器。首先，我们需要了解词法分析器的基本工作流程： 1. 读入源代码； 2. 识别并返回一个个词法单元，对于错误的单元要进行错误处理。 基于以上思路，我们可以对于给定的文法进行设计，以供词法分析器进行分析和处理。 例如，以一般的数学表达式作为例子，我们可以设计一个基本的文法： 1. 数字： digit → 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 2. 数字串： number → digit | digit number 3. 符号： operator → + | - | * | / 4. 表达式： expression → number operator number 通过以上设计，我们可以实现以下词法分析程序的伪代码： ``` func lexer() { initialize variables while (there is still input to process) { current_char = get_next_char() if (current_char is a digit) { token = create_token(NUMBER, read_number()) output_token(token) } else if (current_char is a operator) { token = create_token(OPERATOR, current_char) output_token(token) } else { handle_error() } } } func read_number() { initialize variables while (current_char is a digit) { append current_char to number_string current_char = get_next_char() } return number_string } func create_token(token_type, token_value) { return (token_type, token_value) } func output_token(token) { print token } func handle_error() { print error message } ``` 在以上代码中： - lexer()函数是整个词法分析的主程序，它负责读入字符，并进行识别和处理； - read_number()函数是识别数字字符串的辅助程序，它不断读入字符并组成数字字符串； - create_token()函数用于创建符号记号和数字记号； - output_token()函数用于输出记号到输出流中； - handle_error()函数为错误处理函数，用于处理一些识别错误的情况。 通过以上分析，我们可以根据以上流程实现一个基本的词法分析器，用以检查程序是否符合给定的文法规则并对异常输入进行错误提示。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值