词法分析器 【编译原理】C++实现}

已于 2022-05-26 16:27:15 修改
阅读量4.6k 收藏 72
点赞数 8
文章标签： c++ 开发语言 算法
于 2022-05-24 17:16:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sddya/article/details/124950434
版权

一、实验内容：

【问题描述】

请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下：

   （1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义；

   （2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt；输出的结果文件统一命名为output.txt，结果文件中每行按如下方式组织：

单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义：

单词名称

类别码

单词名称

类别码

单词名称

类别码

单词名称

类别码

标识符

IDENFR

if

IFTK

-

MINU

= 

ASSIGN

整型常量

INTCON

else

ELSETK

*

MULT

;

SEMICN

字符常量

CHARCON

do

DOTK

/

DIV

,

COMMA

字符串

STRCON

while

WHILETK

< 

LSS

(

LPARENT

const

CONSTTK

for

FORTK

<=

LEQ

)

RPARENT

int

INTTK

scanf

SCANFTK

> 

GRE

[

LBRACK

char

CHARTK

printf

PRINTFTK

>=

GEQ

]

RBRACK

void

VOIDTK

return

RETURNTK

== 

EQL

{

LBRACE

main

MAINTK

+

PLUS

!= 

NEQ

}

RBRACE

【输入形式】testfile.txt中的符合文法要求的测试程序。
【输出形式】要求将词法分析结果输出至output.txt中。
【样例输入】

const int const1 = 1, const2 = -100;

const char const3 = '_';

int change1;

char change3;

int gets1(int var1,int var2){

    change1 = var1 + var2;

    return (change1);

}

void main(){

    printf("Hello World");

    printf(gets1(10, 20));

}

【样例输出】

CONSTTK const

INTTK int

IDENFR const1

ASSIGN =

INTCON 1

COMMA ,

IDENFR const2

ASSIGN =

MINU -

INTCON 100

SEMICN ;

CONSTTK const

CHARTK char

IDENFR const3

ASSIGN =

CHARCON _

SEMICN ;

INTTK int

IDENFR change1

SEMICN ;

CHARTK char

IDENFR change3

SEMICN ;

INTTK int

IDENFR gets1

LPARENT (

INTTK int

IDENFR var1

COMMA ,

INTTK int

IDENFR var2

RPARENT )

LBRACE {

IDENFR change1

ASSIGN =

IDENFR var1

PLUS +

IDENFR var2

SEMICN ;

RETURNTK return

LPARENT (

IDENFR change1

RPARENT )

SEMICN ;

RBRACE }

VOIDTK void

MAINTK main

LPARENT (

RPARENT )

LBRACE {

PRINTFTK printf

LPARENT (

STRCON Hello World

RPARENT )

SEMICN ;

PRINTFTK printf

LPARENT (

IDENFR gets1

LPARENT (

INTCON 10

COMMA ,

INTCON 20

RPARENT )

RPARENT )

SEMICN ;

RBRACE }

【评分标准】 按与预期结果不一致的项数（每一行单词信息算一项）扣分，每项扣5%。

二、实验过程

1、根据DFA构造词法分析程序

直接编程的词法分析程序

（1）、适合词法比较简单的、手工实现、比较精简，分析速度快。

（2）、与要识别的语言单词密切相关，一旦词法规则发生变化，则要重新编写程序。

（3）、通过程序的控制流转移来完成对输入字符的响应，程序中的每一条语句都要与识别的单词符号有关。

 2、表驱动的词法分析程序

（1）、一种典型的数据与操作的分离的工作模式，控制程序不变；不同的词法分        析器实质上是构造不同的分析表。

（2）、为词法分析程序的自动生成提供了极大的方便

（3）、程序比较复杂，分析速度慢一些

3、实验步骤

：

（1）、输入：源文件字符序列testfile.txt

   任务：识别单词符号；滤过空格、注释等

   依据：TEST语言的词法规则

   输出：字符流（单词）

（2）、本实验我设计的词法分析器：

①能够识别出保留字、标识符、单分符、双分符、常量

②利用表驱动法识别注释并且滤过注释

三 实验代码

#include<string.h>
#include<string>
#include<stdio.h>
#include<fstream>
#define   MAX 22             
#define   RES_MAX   13        
#define   MAXBUF 255         

char   ch =' ';             
int Line_NO;                

struct keywords    
{
char lexptr[MAXBUF];
int token;
};
struct keywords symtable[MAX];
char  in[MAX] [10]= { "const","int","main","void","char","if","else","do","while","for","scanf","printf","return" };
char out[MAX] [10] =  { "CONSTTK","INTTK","MAINTK","VOIDTK","CHARTK","IFTK","ELSETK","DOTK","WHILETK","FORTK","SCANFTK","PRINTFTK","RETURNTK" };

void init() 
{           
	int j;
	for(j=0; j<MAX; j++)
	{
	   strcpy(symtable[j].lexptr,in[j]);
	   symtable[j].token=j;   
	}
}

int Iskeyword(char * is_res){
   int i;
   for(i=0;i<MAX;i++){
     if((strcmp(symtable[i].lexptr,is_res))==0) break;
   }
   if(i<MAX) return   symtable[i].token;
   else return 0;
}

int IsLetter(char c)
{
   if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))|| (ch == '_')) return 1;
    else return 0;
}

int IsDigit(char c){
   if(c>='0'&&c<='9') return 1;
   else return 0;
}

void analyse(FILE *fpin,FILE *fpout){
    char arr[MAXBUF];	
    int j=0;
    while((ch=fgetc(fpin))!=EOF)
	{
    if(ch==' '||ch=='\t'){}
    else if(ch=='\n')
	{Line_NO++;}
   else if(IsLetter(ch)){
       while(IsLetter(ch)||IsDigit(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
        }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
       if (Iskeyword(arr))
	   {   
	      int a;
	      a=Iskeyword(arr);
	      fprintf(fpout,"%s %s\n",out[a],arr);
			 
        }
        else if(!strcmp(arr,"const"))
        fprintf(fpout,"CONSTTK %s\n",arr);
        
		else
			fprintf(fpout,"IDENFR %s\n",arr);     
   }
   else if(int(ch)==34||int(ch)==39)
	  {
			ch=fgetc(fpin);
			char ar[MAXBUF];int i,j=0; 
            while(int(ch)!=34&&int(ch)!=39)
			{
                 ar[j]=ch;
                j++;
                ch=fgetc(fpin);
           }
            int length = strlen(ar);
            
            if(length ==1)
			{
			    fprintf(fpout,"CHARCON %s\n",ar);
            }
            else{
            	fprintf(fpout,"STRCON %s\n",ar);
            }
            for(i=0;i<length;i++)
            ar[i]='\0';
            
    }
   
   else if(IsDigit(ch)){
	int s=0;
      while(IsDigit(ch)||IsLetter(ch)){
		if(IsLetter(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
			s=1;
		}
	 	else if(IsDigit(ch)){
			arr[j]=ch;
            j++;
            ch=fgetc(fpin);
		}		  
    }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
	if(s==0)
		fprintf(fpout,"INTCON %s\n",arr) ; 
	else if(s==1)
		fprintf(fpout,"INTTK %s\n",arr) ; 
      }
	  else switch(ch)
	  {           
            case'+' :fprintf(fpout,"PLUS %s\n","+");break;
            case'-' :fprintf(fpout,"MINU %s\n","-");break;
            case'*' :fprintf(fpout,"MULT %s\n","*");break;
            case'(' :fprintf(fpout,"LPARENT %s\n","(");break;
            case')' :fprintf(fpout,"RPARENT %s\n",")");break;
            case'[' :fprintf(fpout,"LBRACK %s\n","[");break;
            case']' :fprintf(fpout,"RBRACK %s\n","]");break;                      
            case';' :fprintf(fpout,"SEMICN %s\n",";");break;
            case'/' :fprintf(fpout,"DIV %s\n","/");break;
            case',' :fprintf(fpout,"COMMA %s\n",",");break;
			case' ' :fprintf(fpout,"NEQ %s\n"," ");break; 
			case'{' :fprintf(fpout,"LBRACE %s\n","{");break;
			case'}' :fprintf(fpout,"RBRACE %s\n","}");break; 
			case'=' :{
				ch=fgetc(fpin);
				if(ch=='=')
				fprintf(fpout,"EQL %s\n","==");
				else{
					fprintf(fpout,"ASSIGN %s\n","=");
					fseek(fpin,-1L,SEEK_CUR);
				}
				
			}break;
			case'!':{
				
				ch=fgetc(fpin);
				if(ch=='=')
				fprintf(fpout,"NEQ %s\n","!=");
			}break;
				
            case'>' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"GEQ %s\n",">=");
		        else {
					fprintf(fpout,"GRE %s\n",">");
					fseek(fpin,-1L,SEEK_CUR);
				}
    		}break;

            case'<' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"LEQ %s\n","<=");
		        else
				{
				 	fprintf(fpout,"LSS %s\n","<");
				 	fseek(fpin,-1L,SEEK_CUR);}
            }break;                         
               default :break;
        }
    }}
int main()
{
   char in_fn[25],out_fn[25];
   FILE * fpin,* fpout; 
   fpin=fopen("testfile.txt","r");
   fpout=fopen("output.txt","w");
   init();
   analyse(fpin,fpout);
   fclose(fpin);
   fclose(fpout);
   printf(".....程序已分析完成分析并保存至目标文件\n");
   return 0;
}

四、运行举例

 

 testfile.txt文件：

output.txt文件：（没截全）

说明：这个是我学校实验平台的题目，代码没有写注释，看不懂的地方可以留言，有时间会把注释 加上 （如果是同学看到的话，希望不要借鉴，平台有查重）

戴回回
关注
  • 8
    点赞
  • 踩
  • 72
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
编译原理实验：词法分析程序
weixin_48456383的博客
04-01 694
作者:lmx,钓鱼代码别抄！ 编译原理词法分析实验包-C++文档类资源-CSDN下载编译原理词法分析实验包更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/weixin_48456383/85063981 【问题描述】 请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下： （1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义； （2）为了方便...
编译原理词法分析实验
皮小孩的博客
12-22 3823
目录实验内容描述实验设计输入输出形式样例输入和样例输出实验设计原理（步骤）主要函数和辅助函数核心代码截图调试过程实验结果 实验内容描述 根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下： （1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义； （2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt；输出的结果文件统一命名为output.txt，结果文件中每行按如下方式组织： 单词类别码 单词的字符/字符
C语言的词法分析器源码实现（Qt / c++编写）
最新发布
biao2488890051的博客
05-19 506
网上找了好些博客，但是实现的都不全，或者压根不太对，代码书写也不太规范，所以自己参考这些博客以及C语言词法规则，用qt重新写了这么一个词法分析器。包括 lexc_language.h 和 lexc_language.cpp 两个文件，总计约600行代码。话不多说，先看效果，然后直接上源码，自我认为本人写的比较清晰，方便阅读和复用的。其实就是一个状态机进行识别，这个网上可以找到很多资料，不赘述了。
编译原理实验(词法分析器+语法分析器)
m0_60679171的博客
12-12 4456
编译原理实验内容及其代码实现
实验2《词法分析程序设计与实现》（C语言版）
艾
03-30 6951
#include<stdio.h> #include<string.h> #include<iostream> using namespace std; char prog[80], token[20]; char ch; int syn, p, m = 0, n, row, sum = 0; const char* rwtab[8] = { "if","int","for","while","do","return","break","continue" }; cons
词法分析器（c++）
yizhizhazhahui的博客
11-27 6239
c++，编译原理实验，词法分析器
单词识别程序c语言,实验一词法分析(单词识别).doc
weixin_42131276的博客
05-18 2347
实验一词法分析(单词识别)实验一：词法分析一、实验目的：通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。(遇到错误时可显示“Error”，然后...
编译原理 词法分析器 c++实现
12-05
参考附录C.1设计一个简单语言的词法分析程序，要求能够处理换行回车、注释（自定义注释格式）、部分符合运算符（如>= 、 等）。 注意： 附录C.1采用的是控制台输入输出的方式，测试数据要用文本文件保存好。
c++ 词法分析器-编译原理实验
10-13
从词法分析器实验的目的，原理以及代码，结果，总结来完成实验，建立数组完成并对元素进行分析。
编译原理实践：C++实现词法分析器.rar
06-23
本资源使用C++实现了词法分析器，内容包括C++源代码与exe...该资源的文字版信息请访问博客《编译原理实践：C++实现词法分析器（学习笔记）》（https://blog.csdn.net/weixin_40589192/article/details/106927940）。
编译原理 - 词法分析：C/C++实现
11-15
其次，我在实验中学到了如何设计和实现词法分析器的基本框架和算法，并且了解了正则表达式的基本规则和常用操作符，以及如何使用正则表达式定义词法规则，从而构建词法分析器。在实验过程中，我遇到了困难包括：理解...
词法语法分析实验报告
11-14
《编译原理》实验一：词法分析 实验报告 一、 实验目的与要求： 通过编写并上机调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将其分解后各类单词的词法分析方法。 二、实验内容： 输入：选取一类典型单词，也可以尽可能使各种类型的单词都能兼顾到。 输出：单词串的输出形式，所输出的每一单词均按形如（CLASS，VALUE）的二元式编码。
编译原理词法分析实验包
04-01
编译原理词法分析实验包
语法分析实验报告.docx
05-18
自己写的编译原理课程中语法分析实验的报告：• 理解和掌握算术表达式的文法构造，熟悉常用的语法分析方法。理解和掌握布尔表达式的文法构造，熟悉常用的语法分析方法。• 根据Sample语言的语法规则判定输入的一串单词能否构成一个正确的算术表达式。根据Sample语言的语法规则判定输入的一串单词能否构成一个正确的布尔表达式。
MineGame.rar
05-06
完全按照分析设计思想做出的类windows扫雷游戏。其中认为比较好的地方是雷区和方格的抽象比较好，不成功的是英雄榜与游戏类的抽象不太好
C++实现词法分析器.zip
06-09
在这个名为"C++实现词法分析器"的实验中，我们将深入理解词法分析的原理，并学习如何使用C++来构建一个词法分析器。 词法分析的目的是将源代码文本转换为一系列的标记，这些标记通常包括关键字、标识符、常量、...
C++实现简易PL/0词法分析器
qq_57495370的博客
04-16 3121
总之，词法分析是编译器中的一个重要组成部分，它负责将输入流中的字符序列分解成一个一个的单词，为后续的语法分析和代码生成等工作提供了基础。本文介绍了一个简单的词法分析器程序，它可以帮助我们更好地理解程序的输入解析过程，也可以作为其他编译器程序的基础组件进行扩展和优化。在本程序中，还定义了一个关键字列表，用于判断是否为关键字。输出文件中的每一行都表示一个单词，其中括号内的第一个值表示单词的类型，第二个值表示单词的值。此外，程序还提供了一个函数，用于在控制台输出输入文件的内容，以便我们更好地了解程序的输入数据。
TEST语言——词法分析
星辰
12-05 5182
1.1 TEST 语言概述 TEST 语言的程序结构简单，整个程序相当于 C 语言的函数体，即由一对花 括号括起的语句序列，没有函数，没有数组；声明语句、表达式语句以及控制 语句和 C 语言类似。数据类型只有整型，一个声明语句只能声明一个变量；表 达式只有算术表达式和布尔表达式两种形式，其中算术表达式为整型变量和整 型常数的四则运算组合，布尔表达式为两个算术表达式的比较运算；控制语句 只有 if、while 和 for 三种语句；支持复合语句；read 语句和 write 语句实现 输入输出；注释仅为多行注
编译原理实验二 语法分析程序设计与实现
热门推荐
努力学习的小菜同学
01-02 1万+
一、实验目的 任选一种有代表性的语法分析方法，如算符优先法、递归下降法、LL(1)、SLR(1)、LR(1)等，通过设计、编制、调试实现一个典型的语法分析程序，对实验一所得扫描器提供的单词序列进行语法检查和结构分析，实现并进一步掌握常用的语法分析方法。 二、基本实验内容与要求 选择对各种常见高级程序设计语言都较为通用的语法结构——算术表达式的一个简化子集——作为分析对象，根据如下描述其语法结构的 BNF 定义G2[<算术表达式>]，任选一种学过的语法分析方法，针对运算对象为无符号常数和变量的四则
编程实现：判断某年某月的天数。要求画程序流程图，附录源代码及结果、结果分析
03-30
流程图如下： ![判断某年某月的天数](https://i.imgur.com/8oCtj5n.png) 源代码如下： ```python year = int(input("请输入年份：")) month = int(input("请输入月份：")) # 判断是否为闰年 if (year % 4 == 0 and year % 100 != 0) or year % 400 == 0: leap_year = True else: leap_year = False # 计算天数 if month == 2: if leap_year: days = 29 else: days = 28 elif month in [1, 3, 5, 7, 8, 10, 12]: days = 31 else: days = 30 print("{}年{}月有{}天".format(year, month, days)) ``` 运行结果： ``` 请输入年份：2020 请输入月份：2 2020年2月有29天 ``` 结果分析： 输入年份为2020，月份为2，程序判断2020年是闰年，因此2月份有29天，结果为2020年2月有29天。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值