词法分析（C++）

最新推荐文章于 2022-11-27 19:23:47 发布
最新推荐文章于 2022-11-27 19:23:47 发布
阅读量572 收藏 7
点赞数 2
分类专栏： 编译原理 文章标签： 编译原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31454017/article/details/69950751
版权

题目：输入PL/0语言源程序的文本文件，输出源程序中所有单词种类，并以文本文件保存


思路：这次是在上次识别标识符的基础上增加了查找功能，确定单词种类。在分词函数部分做了一些修改，设errflag参数，用以确定单词是否非法，以达到忽略非法标识符的目的。


部分代码-分类查找

for(i=0;i<words.size();i++){
if(isalpha(words[i][0])){ 
	for(k=0;k<reserved_word.size();k++){
	    if( words[i] == reserved_word[k] ) {//是保留字
		out << "(" << word_sym[k]<< " , " <<words[i] <<" )"<<endl;
		break;
	    }
	}
	if(k==reserved_word.size()){ //是标志符
	   out << "(ident , " <<words[i] <<" )"<<endl;
	}
}
else if(isdigit(words[i][0])){ //是数字
	out << "(number , " <<words[i] <<" )"<<endl;
    }
    else{
	for(k=0;k<operators.size();k++){
		if(words[i] == operators[k]) { //是运算符
		out << "(" << oprsym[k]<< " , " <<words[i] <<" )"<<endl;
			break;
		}
	}
	if(k==operators.size()){ 
		for(j=0;j<delimiters.size();j++){//是界符
			if(words[i] == delimiters[j]){
			out << "(" << delsym[j]<< " , " <<words[i] <<" )"<<endl;
				break;
			}
		}
	}
    }
}


完整代码如下：

#include "stdafx.h"
#include <iostream>
#include <string>
#include <fstream>
#include <vector>
#include <cctype>

using namespace std;

void splitword(vector<string>  &words,string &s)
{
	string temp;
	int i=0;
	int flag=0,errflag=0;  //flag表示之前一个字符的种类；errflag表示该单词是否非法
	while(s[i] != 0){
		if(isalpha(s[i])){  //如果是字母
			if(s[i] >= 'A' && s[i] <= 'Z' )  s[i] -= -32; //转成小写
			if(flag != 1 && flag != 2 ) 	{	 //如果前面一个字符不是字母或者数字，则断开该字符
				if(errflag==0)
					words.push_back(temp);
				errflag=0;
				temp = "";
			}
			if(temp!="" && !isalpha(temp[0])) errflag=1;
			temp += s[i];
			flag = 1;
		}
		else if(isdigit(s[i])){//如果是数字
			if(flag != 1 && flag != 2){	
				if(errflag==0)
					words.push_back(temp);
				errflag=0;
				temp = "";
			}
			temp += s[i];
			flag = 2;
		}
		else if(s[i] == ' ' || s[i] == '\t'){
			flag = 0;
		}
		else if(s[i] == '_' && isalpha(temp[0])) //只允许在单词后加下划线，否则忽略
			temp += s[i];
		else {
			if(flag != 3 || s[i] != '='){	
				if(errflag==0)
					words.push_back(temp);
				errflag=0;
				temp = "";
			}
			temp += s[i];
			flag = 3;
		}
		i++;
		if(s[i]==0){
			if(errflag==0)  
				words.push_back(temp);
			errflag=0;
			temp="";
		}
	}
}

void init(vector<string> &reserved_word,vector<string> &word_sym,
		  vector<string> &operators,vector<string> &oprsym,
		  vector<string> &delimiters,vector<string> &delsym){
	reserved_word.push_back("begin");
	reserved_word.push_back("call");
	reserved_word.push_back("const");
	reserved_word.push_back("do");
	reserved_word.push_back("end");
	reserved_word.push_back("if");
	reserved_word.push_back("odd");
	reserved_word.push_back("procedure");
	reserved_word.push_back("read");
	reserved_word.push_back("then");
	reserved_word.push_back("var");
	reserved_word.push_back("while");
	reserved_word.push_back("write");

	word_sym.push_back("beginsym");
	word_sym.push_back("callsym");
	word_sym.push_back("constsym");
	word_sym.push_back("dosym");
	word_sym.push_back("endsym");
	word_sym.push_back("ifsym");
	word_sym.push_back("oddsym");
	word_sym.push_back("procsym");
	word_sym.push_back("readsym");
	word_sym.push_back("thensym");
	word_sym.push_back("varsym");
	word_sym.push_back("whilesym");
	word_sym.push_back("writesym");

	operators.push_back("+");
	operators.push_back("-");
	operators.push_back("*");
	operators.push_back("/");
	operators.push_back("=");
	operators.push_back("#");
	operators.push_back("<");
	operators.push_back(">");
	operators.push_back("<=");
	operators.push_back(">=");
	operators.push_back(":=");

	oprsym.push_back("plus");
	oprsym.push_back("minus");
	oprsym.push_back("times");
	oprsym.push_back("slash");
	oprsym.push_back("eql");
	oprsym.push_back("neq");
	oprsym.push_back("lss");
	oprsym.push_back("leq");
	oprsym.push_back("gtr");
	oprsym.push_back("geq");
	oprsym.push_back("becomes");

	delimiters.push_back("(");
	delimiters.push_back(")");
	delimiters.push_back(",");
	delimiters.push_back(";");
	delimiters.push_back(".");

	delsym.push_back("lparen");
	delsym.push_back("rparen");
	delsym.push_back("comma");
	delsym.push_back("semicolon");
	delsym.push_back("period");
}

int _tmain(int argc, _TCHAR* argv[])
{
	vector<string> reserved_word;
	vector<string> word_sym;
	vector<string> operators;
	vector<string> oprsym;
	vector<string> delimiters;
	vector<string> delsym;
	init(reserved_word,word_sym,operators,oprsym,delimiters,delsym)；
	vector<string> words;
	ifstream in;
	string filename;
	int endflag=0;
	while(endflag==0){
		cout << "请输入源程序文件名(输入end则退出该程序,以.txt结尾):";
		cin >> filename;
		if(filename =="end") endflag=1;
		else{
			in.open(filename); 
			if(!in){
				cout << "文件打开错误" <<endl;
			}
			else{
				string s;
				while(getline(in,s)) {
					splitword(words,s);
				}
				in.close();
		
				string outfilename;
				ofstream out;
				cout << "请输入输出文件名(请以.txt结尾)：";
				cin >> outfilename;
				out.open(outfilename);
				//判断
				unsigned int i,k,j;
				for(i=0;i<words.size();i++){
					if(isalpha(words[i][0])){ 
						for(k=0;k<reserved_word.size();k++){
							if( words[i] == reserved_word[k] ) {//是保留字
								out << "(" << word_sym[k]<< " , " <<words[i] <<" )"<<endl;
								break;
							}
						}
						if(k==reserved_word.size()){ //是标志符
								out << "(ident , " <<words[i] <<" )"<<endl;
						}
					}
					else if(isdigit(words[i][0])){ //是数字
						out << "(number , " <<words[i] <<" )"<<endl;
					}
					else{
						for(k=0;k<operators.size();k++){
							if(words[i] == operators[k]) { //是运算符
								out << "(" << oprsym[k]<< " , " <<words[i] <<" )"<<endl;
								break;
							}
						}
						if(k==operators.size()){ 
							for(j=0;j<delimiters.size();j++){//是界符
								if(words[i] == delimiters[j]){
									out << "(" << delsym[j]<< " , " <<words[i] <<" )"<<endl;
									break;
								}
							}
						}
					}
				}
				out.close();
				cout << "结果为："<<endl;
				in.open(outfilename);
				while(getline(in,s)) cout << s <<endl;
				cout << "结果已存入"<<outfilename<<endl;
			}
		}
	}
	system("pause");
	return 0;
}



TTTTina_
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
词法分析代码（c++）
03-06
#include #include #include #include using namespace std; #define de(x) cout<<#x<<" = "<<x<<endl #define dd(x) cout<<#x<<" = "<<x<<" " const int N = 1001; char ch; char orignal[N], str[N], strtoken[N]; //orignal存初始字符串，str存处理后的字符串，strtoken存当前处理的词项 char sign[N][25],constant[N][25],sign_key[N][25]; int s1, s2; //分别为str和strtoken的位置 int neibuid; int id=0,st=0,id_key=0; typedef struct keytable { char name[20]; int id; }KEYTABLE; //设置关键字 KEYTABLE keyword[]={{"main",0},{"int",1},{"float",2},{"char",3},{"if",4}, {"else",5},{"for",6},{"while",7},{"do",8},{"switch",9},{"case",10}, {"break",11},{"long",12},{"signed",13},{"unsigned",14},{"struct",15},{"union",16}, {"enum",17},{"typedef",18},{"sizeof",19},{"auto",20},{"static",21}, {"register",22},{"extern",23},{"const",24},{"volatile",25},{"return",26}, {"continue",27},{"goto",28},{"default",29},{"void",30},{"double",31},{"short",32}}; int openfile() { //打开文件 FILE *fp; char a, filename[15]; int n = 0; printf("Input the filename:"); scanf("%s",filename);
C++ 的词法分析
天道酬勤
11-04 5066
C++ 的词法分析词法分析是指原文件被分解为词法符号的过程，通常是整个编译过程的第一步。虽然通常认为了解 C++ 的词法分析过程对于大多数一辈子都不会编写 C++ 编译器的程序员来说意义不大，但这篇文章不仅仅是为了满足某些人的好奇心而写的，因为我觉得任意一个严谨的 C++ 程序员都应该对 C++ 的词法分析有所了解，以避免一些偶然情况下会发生的错误（我们花了若干年去熟悉 C++
c++ 的词法分析
georgehoul的专栏
10-11 1195
词法分析是指原文件被分解为词法符号的过程，通常是整个编译过程的第一步。虽然通常认为了解 C++ 的词法分析过程对于大多数一辈子都不会编写 C++ 编译器的程序员来说意义不大，但这篇文章不仅仅是为了满足某些人的好奇心而写的，因为我觉得任意一个严谨的 C++ 程序员都应该对 C++ 的词法分析有所了解，以避免一些偶然情况下会发生的错误（我们花了若干年去熟悉 C++ 的语法，为什么不花上一天时间随便熟悉
词法分析（C++实现）
qq_39559641的博客
11-14 6925
词法分析实验设计思想及算法 本实验采用的基本思想是根据C++语言的基本状态集，根据各个状态的转移条件构造各个判断逻辑，将程序运行的状态加以区别。源程序来源采用文件导入的方式，对输入源程序的文件进行逐行的词法分析。支持对标识符、关键字、整数、浮点数、分界符、运算符等识别。对于读取的每一行代码保存在字符数组buf [120]中，设置起点指示器start（数组下标索引）和搜索指示器end（数组下标索引）...
词法分析C++源码
06-21
完整全面词法分析原工程文件，内含可执行程序及源代码，想深入学习编译于哪里的同学可进行参考。
c++词法分析器
05-08
个人实现的c++词法分析器，为了便于大家交流学习，共同进步。
词法分析c++
03-03
词法分析是编译器设计中的关键步骤，它在C++编程环境中扮演着至关重要的角色。词法分析器，也称为扫描器，是编译器的第一道工序，它负责将源代码文本转换成一系列有意义的符号，即词法单元或标记（tokens）。这些...
cifafenxi.rar_cifafenxi_词法分析 C++实现
09-22
在C++编程语言中，实现词法分析器通常涉及识别和处理各种语法元素，如关键字、标识符、常量、运算符以及分隔符等。下面我们将深入探讨词法分析的概念、实现过程以及在"Cifafenxi"项目中可能涉及的关键点。 词法分析...
词法分析c++版
04-14
在这个实验中，我们将关注C++实现的词法分析器，这是一种用C++编程语言编写的工具，用于处理源代码的词法层面。 在编译原理中，词法分析器通常被称为扫描器或lexer。它的任务是识别源代码中的关键字、标识符、常量...
利用c++进行程序词法分析
王陈锋的博客
10-03 3894
2. 编写的分析程序能够正确识别源程序中的单词符号，包括：标识符、关键字、常见运算符、分隔符、整数、小数、单行注释，字符常数，字符串常数；对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误提示，保证顺利完成整个源程序的词法分析；自定义一种程序设计语言，或者选择已有的一种高级语言，利用状态转换图编制它的词法分析程序。3. 识别出的单词以的形式输出或保存；能够使编写的分析程序对简单的程序段进行词法分析。1. 对单词的构词规则有明确的定义；实现简单的词法分析程序；
基于c++的词法分析器
11-17
基于c++的词法分析器。实现了识别保留字、标识符、常量、科学计数法、识别注释、负号的识别、标识符、分隔符、和大小括号的匹配(利用出入栈)
C C++ 词法分析
05-06
CMM语言词法分析 C/C++语言实现 根据CMM语言要求实现自动机。 包含数组，整形，实数，if else while 语句等。
词法分析器（c++版）
11-03
词法分析器（c++版） 词法分析程序，能识别出所有的关键字、标识符、常数、运算符（包括复合运算符，如++）、界符；能过滤掉源程序中的注释、空格、制表符、换行符等等
C++词法分析器(源代码)
10-09
自己写的实用的词法分析器 片段: #include <iostream.h> #include <iomanip.h> #include <string.h> #include <stdlib.h> const int MAX=30; const int MAXSIZE=80; char css[MAX][MAXSIZE];//存放产生式，并以'#'结束 int F[MAX][MAXSIZE];//二维数组表示FirstVT(P)表 int L[MAX][MAXSIZE];//二维数组表示LastVT(P)表 char strVN[MAX];//存放非终结符 char strVT[MAXSIZE];//存放终结符 int Priority_Table[MAX][MAX];//优先表 char Sentence[MAXSIZE];//用以存放用户从键盘上读入一个句子,最大长度不超过MAXSIZE个字符
c++简单词法分析（编译原理）
05-25
#include <stdio.h> #include <string.h> #include <fstream> #include <iostream> using namespace std; char * isnumber(char * q ); char * iskeywords( char * q ); char * isvariable(char * q ) ; char * isoperator(char * q ) ; char * isdefinite(char * q ); int count=1; int bj=0; int main() { char file[1000],*q; char filename[20]; int i; for(i=0;i<1000;i++) file[i]='\0'; //读取文件 cout<<"请输入源文件名（包括路径和后缀名）："; cin>>filename; ifstream infile(filename,ios::in); if (!infile) { cout<<"无法打开文件 !!!"<<endl; } infile.getline(file,1000,EOF); infile.close(); //进行词法分析 q=file; cout<<" 序列号 "<<" 单词 "<<" 类型"<<endl; while(*q!='\0') { for(;*q==' ';q++); //去掉空格 //判断是否是关键字和变量名 if(*q>='A'&&*q<='Z'||*q>='a'&&*q<='z') { q=iskeywords( q ); if(bj) continue; q=isvariable(q); continue; } if(*q>='0'&&*q<='9') { q=isnumber(q); continue; } if(*q=='\n') { q++; continue;} //如果是空格跳过 q=isoperator(q); if(bj) continue; //判断是否是运算符 q=isdefinite(q); if(bj) continue; cout<<" 字符 "<<*q<<" 不是正确单词 "<<endl; q++; } return 0; } //判断是否是数字 char * isnumber(char * q ) 。。。。。。。。。。。。
C++:词法分析
珞珞如石
12-05 3360
词法分析的思路比较简单，先判断是字母还是数字，如果是字母，那么开始判断是关键字还是标识符。如果是其它的分隔符之类的，进行处理即可，我写的分析程序十分简单，大神可以略过哦。#include<iostream> #include<fstream> #include<string> #include<ctype.h>//用来判断变量类型 using namespace std; ifstream heng
词法分析器（c++）
最新发布
yizhizhazhahui的博客
11-27 6251
c++，编译原理实验，词法分析器
词法分析器 C++实现
qq_40240576的博客
10-22 702
#include&lt;bits/stdc++.h&gt; #include&lt;cstring&gt; using namespace std; //保留字表 static char reserve[32][20] = { "auto", "break", "case", "char", "const", "continue", &qu
【编译原理与技术】词法分析器（C++实现）
Slimshady的博客
06-26 2272
目录注：单词：实现功能：C++代码：运行结果： 注： 为了简化程序的编写，做了如下的限制： （1） 空白符仅仅是空格、回车符、制表符。 （2） 代码是自由格式。 （3） 注释不允许嵌套。 单词： 根据要求，可以自行添加其他保留字或者特殊符号 实现功能： 识别单词并给出其类型 删除注释行 删除空白符 (空格、回车符、制表符) 在单词的前面加上行号 发现并定位错误。 C++代码： #...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值