【编译原理】实验：词法分析器的实现与分析（本校实验平台的题）

最新推荐文章于 2024-12-30 21:29:29 发布
最新推荐文章于 2024-12-30 21:29:29 发布
阅读量6.5k 收藏 83
点赞数 24
分类专栏： 编译原理 文章标签： 数据结构 c++ 编译器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45839155/article/details/120824503
版权

实验题目：实现词法分析器

注：本题解参考文章在最后列出（部分代码引用的是那里面的）；实现语言为：C++

注：本文只提供一个思路，作为学习过程中的一个参考，实现词法分析器有很多方法，本文只是其中一种，若想用本文代码提交作业请多改，不然查重率过不了。
【问题描述】

【文法定义】:

＜标识符＞::=＜字母＞｛＜字母＞｜＜数字＞｝ //标识符和关键字都不区分大小写，比如if和IF均为关键字，不允许出现与关键字相同的标识符
＜字母＞::=＿｜a｜．．．｜z｜A｜．．．｜Z
＜数字＞::=０｜１｜．．．｜９
＜整数＞::=［＋｜－］＜无符号整数＞
＜无符号整数＞::=＜数字＞｛＜数字＞｝
＜字符＞::=‘＜加法运算符＞’｜’＜乘法运算符＞’｜’＜字母＞’｜’＜数字＞’
＜加法运算符＞::=+｜-
＜乘法运算符＞::=*｜/
＜字符串＞::="｛十进制编码为32,33,35-126的ASCII字符｝" //字符串中要求至少有一个字符

ASCII码

【问题描述】
请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下：
（1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义；
（2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt（注意不要写错文件名）；输出的结果文件统一命名为output.txt（注意不要写错文件名），结果文件中每行按如下方式组织：
单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义：
类别码

【输入形式】testfile.txt中的符合文法要求的测试程序。
【输出形式】要求将词法分析结果输出至output.txt中。

【样例输入】

const int const1 = 1, const2 = -100;
const char const3 = ‘_’;
int change1;
char change3;
int gets1(int var1,int var2){
change1 = var1 + var2;
return (change1);
}
void main(){
printf(“Hello World”);
printf(gets1(10, 20));
}

【样例输出】

CONSTTK const
INTTK int
IDENFR const1
ASSIGN =
INTCON 1
COMMA ,
IDENFR const2
ASSIGN =
MINU -
INTCON 100
SEMICN ;
CONSTTK const
CHARTK char
IDENFR const3
ASSIGN =
CHARCON _
SEMICN ;
INTTK int
IDENFR change1
SEMICN ;
CHARTK char
IDENFR change3
SEMICN ;
INTTK int
IDENFR gets1
LPARENT (
INTTK int
IDENFR var1
COMMA ,
INTTK int
IDENFR var2
RPARENT )
LBRACE {
IDENFR change1
ASSIGN =
IDENFR var1
PLUS +
IDENFR var2
SEMICN ;
RETURNTK return
LPARENT (
IDENFR change1
RPARENT )
SEMICN ;
RBRACE }
VOIDTK void
MAINTK main
LPARENT (
RPARENT )
LBRACE {
PRINTFTK printf
LPARENT (
STRCON Hello World
RPARENT )
SEMICN ;
PRINTFTK printf
LPARENT (
IDENFR gets1
LPARENT (
INTCON 10
COMMA ,
INTCON 20
RPARENT )
RPARENT )
SEMICN ;
RBRACE }

以下是代码思路：
把读入的文件内容全存在ScanBuffer[1000]这个字符串数组里面，里面完整存，空格回车这些都存了。然后用char变量 ch 一个个的读出来，随后判断读出来的是什么类型，再进行分析归类，然后输出到文件里面。

1.代码部分注释很多，不清楚的地方可以仔细看一下注释；
2.有不懂的地方建议自行搜索相关知识点；
3.代码里有些地方是为了测试输出写的，都已经注释掉了；
4.代码里有没用到的变量比如show_strToken变量，是为了debug时候查看全局变量strToken而设置的（全局变量string类型在debug时候没法看到里面的值）；
5.代码能够直接在实验平台上运行通过。

#include <iostream>
#include <fstream>
#include<string>
using namespace std;
#define NOT_Found 404 //自己定义的数字404，因为用到它的地方那个数字不可能是404

//全局变量
char ch;//用来存字符
string strToken = "";//当前字符串
string ScanBuffer[1000];//我开了1000来存，里面存放文件里面所有内容，文件以EOF结尾，叫缓存区
int row = 0;
int col = 0; //缓存区的行与列
int endrow;


string Reserved_words[]={"const","int","char","void","main","if","else","do","while","for","scanf","printf","return"};//保留字，进来字符串的时候验证一下
string Category_code[] ={"CONSTTK","INTTK","CHARTK","VOIDTK","MAINTK","IFTK","ELSETK","DOTK","WHILETK","FORTK","SCANFTK","PRINTFTK","RETURNTK"};//保留字对应的类别码,要与上面一一对应，这样可以对应下标

//声明全局函数
void Input();//子程序过程，将源代码输入进扫描缓冲区
void GetChar();//子过程程序，将下一输入字符读到ch中，搜索指示器前移一字符位置
void GetDel();//子程序过程，检查ch中的字符是否为分隔符(空格、回车之类的)。若是，则调用GetChar直至ch中进入一个非分隔符（delimiters->分隔符）
void Concat();//子程序过程，，将ch中的字符连接到strToken之后
bool IsLetter();//布尔函数过程，判断ch中的字符是否为字母
bool IsDigit();//布尔函数构成，判断ch中的字符是否为数字
int Reserve();//整型函数过程，对strToken中的字符串查找保留字表，若它是一个保留字则返回它的index下标，否则返回NOT_Found（404不是保留字的编码）
void Retract();//子程序过程，将搜索指示器回调一个字符位置，将ch置为空白字符
int GetNumFromStr(string s);//将数字字符串返回原来int型数字，存起来输出用（本文法中的数字只有int型的呢）
int Str_Length(string str);//返回字符串长度，用来判断在字符串内的‘a’、‘2’为char类型
void Lexical_analysis();//词法分析函数实现

//函数实现
void Input(){  //空格回车都在里面了
	int i=0;
	char c;//输入流中的当前字符
        fstream in;
		in.open("testfile5.txt",ios::in);
		while(in.peek()!=EOF){
			c=in.get();
			ScanBuffer[i].push_back(c);
			if(c=='\n') i++;
		}
		endrow=--i;
		//测试,看能不能完整输入：
/*		cout <<"endrow =="<<endrow<<endl; //7行代码，endrow=7；
		int l = 100;
		for(int k=0;k<l;k++){
            cout<<ScanBuffer[k]<<endl;
		}
*/
}
void GetChar(){
	ch=ScanBuffer[row][col];
	col++;
}
void GetDel(){
	while(ch=='\n'){
		row++;
		col=0;
		GetChar();
	}
	while(ch==' '||ch=='\t')
        GetChar();
}
void Concat(){
	strToken.push_back(ch);
}
bool IsLetter(){ //注意本文法中的字母，还包括了下划线
    if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||(ch=='_'))
        return true;
	return false;
}
bool IsDigit(){
    if(ch >='0'&&ch<='9')
        return true;
	return false;
}

int Reserve(){ //找保留字表，
	int i;
	for(i=0;i<13;i++)
		if(Reserved_words[i]==strToken)
            return i;
	return NOT_Found; //循环之后发现不是保留字
}


void Retract(){//回退一个
	col--;
	ch='\0';
}
int GetNumFromStr(string s){
    int ans = 0;
	for(int i=0;i<s.size();i++) ans = ans * 10+ s[i]-'0';
	return ans;
}
/*
bool IsAllDigit(){
    int l = strToken.length();
    bool flag=true;
    for(int k =0;k<l;k++){
        if(strToken[k]>='0'&&strToken[k]<='9'){

        }//flag 保持true
        else{
        flag = false;
        break;}
    }
    return flag;
}
*/
int Str_Length(string str){
    return str.length();
}

void Lexical_analysis()
{
    ofstream out("output.txt");//输出到文件,之后把cout全变成out就行了。
	while(row!=endrow+1){ //别超行读ScanBuffer
	    string Category_code_num;//要输出的类别码
		int store_number;//用IsAllDigit()看一下，纯数字输入的话把用数字存在这里面然后输出。
	//	strToken="";
//因为debug不能查看string全局变量，所以需要一个局部变量show_strToken转接一下
        string show_strToken=strToken;
		GetChar();
		GetDel();//得到一个ch合法输入（没有空格、回车的ch）

		if(IsLetter()){  //字母或下划线开头的进这里
			while(IsLetter()||IsDigit()){
				Concat();
				GetChar();
			}
//此处
			show_strToken=strToken;

			Retract();//上面循环里取多了还回去
			int isfind; //接收保留字表的下标
			isfind=Reserve();
			if(isfind != NOT_Found){ //在表里面找到保留字啦！
			    Category_code_num = Category_code[isfind];
                out<<Category_code_num<<" "<<strToken<<endl;
                strToken="";//输出之后就清零！！
			}
			else{ //不是保留字，那就是标识符咯（字符串有自己的判定语句，在下面）
                out<<"IDENFR "<<strToken<<endl;
                strToken="";//用完之后就清零！！
			}
		}
		else if(IsDigit()){ //数字开头的进这里
			while(IsDigit()){
				Concat();
				GetChar();
			}
//此处
			show_strToken=strToken;

			Retract();//上面循环里取多了还回去
			//把数字存起来，存进变量：store_number
			store_number = GetNumFromStr(strToken);
			strToken="";//用完之后就清零！！
			out<<"INTCON "<<store_number<<endl;
		}
		//其他符号的进下面
		else if(ch=='+')
			out<<"PLUS "<<ch<<endl;
		else if(ch=='-')
			out<<"MINU "<<ch<<endl;
		else if(ch=='*')
			out<<"MULT "<<ch<<endl;
		else if(ch=='/')
			out<<"DIV "<<ch<<endl;
		else if(ch=='<'){ //判断一下是<还是<=,要是下一个字符不是=，拿了的给人还回去，用Retract()函数
			GetChar();
			if(ch=='=')
				out<<"LEQ "<<"<="<<endl;
			else{
				Retract();//把人家还回去
				out<<"LSS "<<"<"<<endl;
			}
		}
		else if(ch=='>'){
			GetChar();
			if(ch=='=')
				out<<"GEQ >="<<endl;
			else{
				Retract();
				out<<"GRE >"<<endl;
			}
		}
		else if(ch=='='){//同上，看一下是不是俩等号‘==’
            GetChar();
            if(ch=='='){
                out<<"EQL =="<<endl;
            }else{
                Retract();//还回去
                out<<"ASSIGN ="<<endl;
            }
		}
		else if(ch=='!'){//由于都是合法输入（测试样例里面）,！只在字符串里面出现，所以此处出现的得是！=
            GetChar();
            if(ch == '='){
                out<<"NEQ !="<<endl;
            }
            else{
                Retract();//还回去并且无操作
            }
		}
		else if(ch==';')
			out<<"SEMICN ;"<<endl;
		else if(ch==',')
			out<<"COMMA ,"<<endl;
		else if(ch=='(')
			out<<"LPARENT ("<<endl;
		else if(ch==')')
			out<<"RPARENT )"<<endl;
        else if(ch=='[')
			out<<"LBRACK ["<<endl;
        else if(ch==']')
			out<<"RBRACK ]"<<endl;
        else if(ch=='{')
			out<<"LBRACE {"<<endl;
        else if(ch=='}')
			out<<"RBRACE }"<<endl;
        else if(int(ch)==34||int(ch)==39){//判断字符串 ps：根据对本题的输入输出案例分析，双引号单引号只用来识别字符串用，不输出，不属于字符类别也不属于字符串类别
                //用ASCII码来比较,中文的双引号是-95，英文的双引号是34,单引号是39，已测试过，可行。
            GetChar();
            while(int(ch)!=34&&int(ch)!=39){
                Concat();
				GetChar();
//此处
			show_strToken=strToken;

            }//出循环的时候，ch等于回引号,不需要还回去；字符串收集结束。
            int length = Str_Length(strToken);
            if(length ==1){ //说明是单引号里面的字符型
                out<<"CHARCON "<<strToken<<endl;
            }
            else{
                out<<"STRCON "<<strToken<<endl;
            }
            strToken="";//输出之后就清零！！
        }

	}//while end

}//function end

int main()
{
    Input();
    Lexical_analysis();
    return 0;
}

测试样例输出与标准答案比对：
用word2010的审阅–比较功能：
word比对
结果：
成功

主要的参考文档：【编译原理】实验一 词法分析器设计与实现

由以上文法定义可以看出，比实际文法要简单，只有整数型变量，且-100分开判定，并不是整数-100而是负号和整数100，所以此词法分析器只做学习使用。

在实验平台上运行时选择正确的编译器很重要，本人因为选了C编译器编译不过一度自闭，直到求助的某位美女告诉我可能是我选错编译器了，才破了案。

over。

2019计算机专业保研经历（清华、南大、上交）
dingshu3257的博客
09-19 5285
本来，我是一个不喜欢写博客的人，因为觉得编辑格式什么的很浪费时间，所有的个人整理和总结都保存在自己电脑里。但是这次能够成功保研清华，要特别感谢一个学姐的经验贴，我和她的经历真的特别像，如果没有她的经验帖，我可能真的不一定能够坚持下来。看了她的帖子，就觉得：啊！原来有人和自己一样啊。就觉得能够坚持下来了，知道该怎么继续往下走了。这也是我为什么这次想把自己的经历分享出来的原因。开始写这篇文章...
【编译原理|实验】词法分析器的设计与实现
热门推荐
爱喝冰红茶的方舟的博客
06-05 1万+
通过设计、编制、调试一个具体的词法分析程序，实现对高级程序设计语言源程序进行扫描过程中将其分解为各种单词的词法分析方法；加深对课堂教学的理解；提高词法分析方法的实践能力。自行编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词， 即关键字、标识符、常数、算符、界符五大类。
编译原理实验(词法分析器+语法分析器)
m0_60679171的博客
12-12 6511
编译原理实验内容及其代码实现
C-Minus编译器 编译原理实验
05-14
参照TINY语法分析器的实现，运用所学知识用C语言或者C++语言实现C-MINUS词法分析器,可输出token，再在词法分析的基础上实现C-MINUS语法分析器，可输出语法树。 本资源是运用自顶向下方法中的递归下降分析方法进行语法分析，是学习编译器理解编译器的重要方法，上传本资源帮助大家学习
2024年秋词法分析作业(满分25分)
最新发布
m0_74315028的博客
12-30 921
（4）单词的类别和单词值以及其他关注的信息，在词法分析阶段获取后，后续的分析阶段会使用，请注意记录；当前要求的输出只是为了便于评测，完成编译器中无需出现这些信息，请设计为方便打开/关闭这些输出的方案。【特别提醒】 （1）读取的字符串要原样保留着便于输出，特别是数字，这里输出的并不是真正的单词值，其实是读入的字符串，单词值需另行记录。（2）你的词法分析程序需要将注释去掉，注释有两种：单行注释和多行注释，风格与C语言相同。（3）在今后的错误处理作业中，需要输出错误的行号，在词法分析的时候注意记录该信息。
编译原理实验参考网站
夏至是个程序媛
03-29 503
http://www.gnu.org/software/bison/manual/html_node/Using-Precedence.html#Using-Precedence http://www.gnu.org/software/bison/manual/bison.html https://blog.csdn.net/iamagoodguy_/article/details/4849959...
编译原理实验辅助教学系统
kaycwcw的博客
07-13 1180
摘要：基于C#、Visual Studio的编译原理辅助教学系统
编译原理实验资源仓库：助你轻松攻克实验难关
gitblog_09768的博客
09-06 450
编译原理实验资源仓库：助你轻松攻克实验难关 编译原理实验.zip项目地址:https://gitcode.com/open-source-toolkit/b34eb 项目介绍 在计算机科学的学习旅程中，编译原理课程往往被视为一座难以逾越的高山。为了帮助广大学生轻松应对编译原理实验，我们推出了“编译原理实验资源仓库”。这个开源项目汇集了多个实验资源，包括词法分析器、进制分析、语法分析器以及SLR语...
编译原理CP lab实验报告.doc
08-23
在 Engintime CP lab上做的编译原理实验，这个平台做的实验设计的很好，这个实验报告里一共包括两个实验报告，一个是从正则表达式到NFA。另一个是使用Lex自动生成扫描程序
编译原理--学习与理解资料（北信科版）
10-25
《编译原理--学习与理解资料（北信科版）》作为北京信息科技大学相关课程的学习材料，不仅仅服务于本校学生，也为其他院校和专业的学生提供了一个扎实的基础学习平台。本文将基于该资料的框架，详细探讨编译原理的...
【编译原理】基于鲲鹏平台的语法分析实验
慢热型网友的博客
06-08 838
1.培养学生利用软件工程方法分析和设计某语言的语法分析模块，并基于鲲鹏平台选择合适语言编码实现语法分析程序。 2.训练学生理论应用能力和方案选择与实现能力。1.运用LL(1)文法列出Sample语言的赋值语句和IF语句的语法规则； 2.编写一个递归下降分析函数，判断给定的一串单词能否构成一个正确的赋值语句； 3.编写一个递归下降分析函数，判断给定的一串单词能否构成一个正确的IF语句； 4.测试所编写函数能否完成语法分析要求； 5.完成实验报告。...
词法分析器的设计与实现
m0_68447809的博客
03-14 4029
词法分析器读取的主要功能是输入源程序，输出单词符号，对源程序从左到右，从上到下对逐个字符进行扫描，识别开具有独立含义的最小语法单位（单词、符号），把构成源程序的字符串转换成单词符号的序列，把单词变换成长度统一的且为定长的属性字，输出单词序列用于语法分析。，功能是用于词法分析，词法分析是将字符序列转换为单词序列的过程，即输入源程序，输出单词符号。首先，设计的词法分析器具有主要的功能，包括识别输入的源代码中的各种词法单元，如关键字、标识符、运算符、分隔符等等。本次实验的任务是设计和实现一个词法分析器，也叫。
编译原理课程设计报告 词法分析程序实现
01-05
通过编写并上机调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将其分解成各类单词的词法分析方法。 词法分析器工作的第一步是输入源程序文本。输入串一般是放在第一个缓冲区中。词法分析的工作可以直接在这个缓冲区中进行。但在许多情况下，把输入串预处理一下，对单词符号的识别工作将比较方便。在设计过程中，使用状态转换图是设计词法分析程序的一种好途径。一个状态转换图可以用于识别一定的字符串。在输入时用户不得使用系统的保留字，并且把关键字作为保留字，成为一类特殊标识符来处理。 转换图容易用程序实现，让每一个状态结点对应一小段程序
编译原理实验指导（含源代码）
12-21
编译原理实验指导。含实验原理，设计过程和具体源代码。
LL(1)文法自动生成语法分析程序的设计
06-30
任意输入LL(1)文法，自动构造LL(1)分析表并生成相应的语法分析程序，实现LL(1)分析过程；能对输入串进行语法分析，判断其是否符合文法。
哈工大软件学院编译原理实验1——词法分析
weixin_34240520的博客
07-24 843
这次实验被“过来人”们定位非常easy，实验内容例如以下： ----------------------------------------------------------------------------------- 对例如以下工作进行展开描写叙述 (1) 给出语言的词法规则描写叙述 · 标识符、keyword、整常数、字符常数、浮点常数 · 单界符：＋，－，×...
词法分析器
小红九さんの技術ブログ
10-23 725
要求和提示 单词的分类。可将所有标识符归为一类；将常数归为另一类；保留字和分隔符则采取一词一类。 符号表的建立。可事先建立一保留字表，以备在识别保留字时进行查询。变量名表及常数表则在词法分析过程中建立。 单词串的输出形式。所输出的每一单词，均按形如（CLASS,VALUE）的二元式编码。对于变量标识符和常数，CLASS字段为相应的类别码，VALUE字段则是该标识符、常数在其符号表中登记项的序号（要求
实验一 词法分析程序设计与实现 （Java实现）
JimmyYang的博客
04-10 4673
点击查看详细内容 - 测试 测试测试 import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.HashMap; import java.util.Map; /** * @author 杨明杰 * @Da...
c语言词法分析程序设计,c语言词法分析器的简单实现 词法分析器的设计与实现...
weixin_36275231的博客
05-17 1180
(内蒙古财经学院 计算机信息管理学院，内蒙古 呼和浩特 010051)摘 要：介绍了词法分析器的概念，并指出词法分 析器设计时，输入的源程序以文件的形式存储在外部。主控程序通过打开文件调用待分析的 源程度。关键词：词法分析器;正规式;自动机中图分类号：TP391 文献标识码：A 文章编号：1007—6921(2008)14—0223—02词法分析是编译程 序进行翻译的第一个阶段，他对...
编译原理实验：词法分析器的实现与应用
资源摘要信息:"编译原理实验--词法分析器" 编译原理是计算机科学中的一个基础课程，它主要研究如何将人类可理解的高级编程语言转换为机器可执行的低级代码。这一过程通常可以分为几个阶段，包括词法分析、语法分析...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值