C++ 代码解析（词法分析、语法分析）

最新推荐文章于 2024-05-19 01:47:03 发布
最新推荐文章于 2024-05-19 01:47:03 发布
阅读量1.4w 收藏 29
点赞数 4
分类专栏： 编译原理 C++ 文章标签： c++ string fp null file struct
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dylgsy/article/details/6976653
版权

转载请注明：一雨田的专栏（http://blog.csdn.net/dylgsy）

 

     很久以前就想写个C++ 的类解析器了，终于花了一晚上时间，写了一个C++ 头文件和 CPP文件的解析。其实跟我上篇“编译原理”的文章说的一样，词法分析和语法分析最基本就是一堆 if-else 或者 switch-case。不要被什么有穷自动机吓倒了。。。

    下面的代码是一个基本的词法和语法分析，能工作，但现在这个实验品，肯定不会很完善，请各位看官见谅。

    能解析出来所包含的头文件、类名（输入 .h 文件可以解析出类名）、函数名等，需要的功能自己再加吧。

    程序我直接一个main函数写下来的，完全C风格，不用跟我讲什么分函数、分类之类的话，我也知道，后期我在代码上会分好，不过不一定贴上来了，要分你可以自己分一下，如果能共享出来给我学习一下，那更感谢了。

    我这个程序就是让你看看一个词法分析和一个语法分析的最简单的写法，同时也实现一些有点用的功能。

 

下面就是这个程序代码，能直接拷贝编译运行的。代码也有注释，逻辑比较清楚了。

 

// CodeParser.cpp : Defines the entry point for the console application.
//

#include "stdafx.h"

#include <stdio.h>
#include <tchar.h>
#include <stdlib.h>
#include <conio.h>

#include <vector>
#include <string>
#include <map>
using namespace std;

// 符号表
enum eType
{
	Symbol
};
map<string, eType> g_mapSymbol;

enum eCharFlag
{
	noFlag,
	explain
};

eCharFlag g_charFlag = noFlag;

int _tmain(int argc, _TCHAR* argv[])
{
	// 输入常用标识符
	g_mapSymbol["if"] = Symbol;

	// 获取输入
	int i=0,j=0,k=0;
	char oneChar;
	char fname[200];
	memset(fname, 0, 200);
	printf("请输入要打开的文件名:\n");
	scanf("%s",fname);

	// for 测试
	//strcpy(fname, "d:\\1.cpp");

	// 打开文件
	FILE *fp;
	if ((fp= fopen(fname,"r"))== NULL)
	{
		printf("Cannot open infile.\n");
		exit(0); 
	}

	//int 0i;

	// 分析文件
	oneChar=fgetc(fp);
	char oneWord[256]={0};
	int nBuf = 0;
	vector<string> vecWords;
	while (oneChar!=EOF)
	{
		if(nBuf == 0)
		{
			if(oneChar == ' ' || oneChar == '\n' || oneChar == '\t')
			{

			}
			else if(oneChar == '(' || oneChar == '{')
			{
				oneWord[nBuf++]	= oneChar;
				string strWord = oneWord;
				vecWords.push_back(strWord);
				nBuf = 0;
				g_charFlag = noFlag;
				memset(oneWord, 0, 256);
				//continue;
			}
			else if(oneChar == ')' || oneChar == '}')
			{
				oneWord[nBuf++]	= oneChar;
				string strWord = oneWord;
				vecWords.push_back(strWord);
				nBuf = 0;
				g_charFlag = noFlag;
				memset(oneWord, 0, 256);
				//continue;
			}
			else if(oneChar >= '0' && oneChar <= '9')
			{
				/*printf("error, 不可以数字打头");
				return -1;*/
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar >= 'a' && oneChar <= 'z')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar >= 'A' && oneChar <= 'Z')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '#')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == ':')
			{
				// 界限符号
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '/')
			{
				// 注释的开始，找第二根横线
				// 或者是路径描述
				oneWord[nBuf++]	= oneChar;
				g_charFlag = explain;
			}
			else if(oneChar == '(')
			{
				// 函数的开始，找第二个括号
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == ')')
			{
				// 函数的结束
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '{')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '}')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == ';')
			{
				// 语句结束符
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '~')
			{
				// 析构函数符
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '\"')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '=')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '_')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '?')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else
			{
				//printf("未处理情况：%c", oneChar);
				oneWord[nBuf++]	= oneChar;
			}
		}
		else
		{
			if(oneChar == ' ' || oneChar == '\t' || oneChar == '\n')
			{
				if(g_charFlag != explain)
				{
					string strWord = oneWord;
					vecWords.push_back(strWord);
					nBuf = 0;
					g_charFlag = noFlag;
					memset(oneWord, 0, 256);
				}
				else if(g_charFlag == explain && oneChar == '\n')
				{
					// 如果是注释状态,则碰到回车才截断
					string strWord = oneWord;
					vecWords.push_back(strWord);
					nBuf = 0;
					g_charFlag = noFlag;
					memset(oneWord, 0, 256);
				}
			}
			else if(oneChar == '(' || oneChar == '{')
			{
				//oneWord[nBuf++]	= oneChar;
				string strWord = oneWord;
				vecWords.push_back(strWord);
				nBuf = 0;
				g_charFlag = noFlag;
				memset(oneWord, 0, 256);
				continue;
			}
			else if(oneChar == ')' || oneChar == '}')
			{
				//oneWord[nBuf++]	= oneChar;
				string strWord = oneWord;
				vecWords.push_back(strWord);
				nBuf = 0;
				g_charFlag = noFlag;
				memset(oneWord, 0, 256);
				continue;
			}
			//else if(oneChar == '\n')
			//{
			//	// 行末, 处理一些情况, 例如注释等
			//}
			else if(oneChar >= '0' && oneChar <= '9')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar >= 'a' && oneChar <= 'z')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar >= 'A' && oneChar <= 'Z')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '_')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == ':')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '(')
			{
				// 函数的开始，找第二个括号
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == ')')
			{
				// 函数的结束
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '{')
			{
				oneWord[nBuf++]	= oneChar;
			}	
			else if(oneChar == '}')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == ';')
			{
				// 语句结束符
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '~')
			{
				// 析构函数符
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '\"')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '*')
			{
				// 定义指针
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '.')
			{
				// .h
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '=')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '/')
			{
				// 如果是注释状态, 等待一行结束
				//if(g_charFlag == explain)
				{
					//oneWord[nBuf++]	= oneChar;
					//string strWord = oneWord;
					//vecWords.push_back(strWord);
					//nBuf = 0;
					g_charFlag = noFlag;	
					//memset(oneWord, 0, 256);
					//oneWord[nBuf++]	= oneChar;
				}
				//else
				{
					oneWord[nBuf++]	= oneChar;
				}
			}
			else if(oneChar == ',')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else if(oneChar == '?')
			{
				oneWord[nBuf++]	= oneChar;
			}
			else
			{
				oneWord[nBuf++]	= oneChar;
				//printf("未处理情况：%c", oneChar);

				//string strWord = "未处理情况：%s";
				//printf("error, 未处理情况.");
				//return -1;
			}
		}
		oneChar=fgetc(fp);
	}
	fclose(fp);

	// 写入文件
	FILE *fpIn;
	if ((fpIn= fopen("d:\\words.txt","w+"))== NULL)
	{
		printf("Cannot open infile.\n");
		exit(0); 
	}
	
	for(int i = 0; i < vecWords.size(); i++)
	{
		char szBuf[300];
		memset(szBuf, 0, 300);
		sprintf(szBuf, "%d. %s\n", i, vecWords[i].c_str());
		fwrite(szBuf, strlen(szBuf), 1, fpIn);
		//printf("%d. %s\n", i, vecWords[i].c_str());
	}
	fclose(fpIn);

	// 语法解析
	// 首先要对括号进行匹配,验证语法等

	vector<string> vecClass;	// 解析出类
	vector<string> vecHeader;	// 解析出头文件

	typedef struct
	{
		string funcName;
		string paramList;
	}stFunc;

	vector<stFunc> vecFunc;		// 解析出函数

	for(int i = 0; i < vecWords.size(); i++)
	{
		if(vecWords[i] == "#include" )
		{
			// 语法分析会随着词法分析结果而变化

			//if(i > 0)
			//{
			//	// 没被注释掉的头文件
			//	if(vecWords[i-1] != "//")
			//	{
			//		vecHeader.push_back(vecWords[i+1]);
			//	}
			//}	
			
			vecHeader.push_back(vecWords[i+1]);
		}
		else if(vecWords[i] == "(")
		{
			// 前面是函数名, 后面是参数
			if(i > 0)
			{
				if(g_mapSymbol.find(vecWords[i-1]) != g_mapSymbol.end())
				{
					//  说明是标准标示词,不是函数
					continue;
				}
				stFunc f;
				f.funcName = vecWords[i-1];
				string strParamList = "(";
				while(vecWords[i++] != ")")
				{
					if(vecWords[i] == "(")
					{
						strParamList += "(";
						while(vecWords[i++] != ")")
						{
							strParamList += " ";
							strParamList += vecWords[i];
						}
					}
					strParamList += " ";
					strParamList += vecWords[i];					
				}
				f.paramList = strParamList;
				vecFunc.push_back(f);
			}
		}
		else if(vecWords[i] == "()")
		{
			// 前面是函数名, 中间无参数
			if(i > 0)
			{
				stFunc f;
				f.funcName = vecWords[i-1];
				f.paramList = "";	
				vecFunc.push_back(f);
			}
		}
		else if(vecWords[i] == "class")
		{
			// 后一个是类名
			string strClass = vecWords[i+1];
			vecClass.push_back(strClass);
		}
	}

	// Grammar 写入文件
	if ((fpIn= fopen("d:\\grammar.txt","w+"))== NULL)
	{
		printf("Cannot open infile.\n");
		exit(0); 
	}

	// 头文件
	for(int i = 0; i < vecHeader.size(); i++)
	{
		char szBuf[500];
		memset(szBuf, 0, 500);
		sprintf(szBuf, "%d. %s \n", i, vecHeader[i].c_str());
		fwrite(szBuf, strlen(szBuf), 1, fpIn);
	}

	fwrite("\n\n\n", 2, 1, fpIn);

	// 类名
	for(int i = 0; i < vecClass.size(); i++)
	{
		char szBuf[500];
		memset(szBuf, 0, 500);
		sprintf(szBuf, "%d. %s \n", i, vecClass[i].c_str());
		fwrite(szBuf, strlen(szBuf), 1, fpIn);
	}

	fwrite("\n\n\n", 2, 1, fpIn);


	// 函数
	for(int i = 0; i < vecFunc.size(); i++)
	{
		char szBuf[500];
		memset(szBuf, 0, 500);
		sprintf(szBuf, "%d. %s %s \n", i, vecFunc[i].funcName.c_str(), vecFunc[i].paramList.c_str());
		fwrite(szBuf, strlen(szBuf), 1, fpIn);
		//printf("%d. %s\n", i, vecWords[i].c_str());
	}
	fclose(fpIn);


	// 解析完成
	printf("解析完成...\n");
	printf("词法分析结果: d:\\words.txt  语法分析结果: d:\\grammar.txt, 请输入任何键结束...\n");
	getch();

	return 0;
}


自己执行就可以看到了。。。

dylgsy
关注
  • 4
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
词法分析器 C++实现
qq_40240576的博客
10-22 695
#include&lt;bits/stdc++.h&gt; #include&lt;cstring&gt; using namespace std; //保留字表 static char reserve[32][20] = { "auto", "break", "case", "char", "const", "continue", &qu
C++写的一个简单的语法分析器（分析C语言）
热门推荐
11-23 7万+
本程序实现一个分析C语言的词法分析+语法分析。 注意： 1.文法简略，没有实现的部分，可以在此文法的基础上进行扩充，本程序的采用自顶向下的LL(1)文法。 2.可以自动实现求First 集和 Follow 集。 3.处终结符外（有些硬编码的成分），终结符的文法可以自定义，也就是说读者可以自定义文法。 4.为方便理解，C语言的文法描述写成中文。 5.程序将词法分析和语法分析结合起来，词法
词法分析代码（c++）
03-06
#include #include #include #include using namespace std; #define de(x) cout<<#x<<" = "<<x<<endl #define dd(x) cout<<#x<<" = "<<x<<" " const int N = 1001; char ch; char orignal[N], str[N], strtoken[N]; //orignal存初始字符串，str存处理后的字符串，strtoken存当前处理的词项 char sign[N][25],constant[N][25],sign_key[N][25]; int s1, s2; //分别为str和strtoken的位置 int neibuid; int id=0,st=0,id_key=0; typedef struct keytable { char name[20]; int id; }KEYTABLE; //设置关键字 KEYTABLE keyword[]={{"main",0},{"int",1},{"float",2},{"char",3},{"if",4}, {"else",5},{"for",6},{"while",7},{"do",8},{"switch",9},{"case",10}, {"break",11},{"long",12},{"signed",13},{"unsigned",14},{"struct",15},{"union",16}, {"enum",17},{"typedef",18},{"sizeof",19},{"auto",20},{"static",21}, {"register",22},{"extern",23},{"const",24},{"volatile",25},{"return",26}, {"continue",27},{"goto",28},{"default",29},{"void",30},{"double",31},{"short",32}}; int openfile() { //打开文件 FILE *fp; char a, filename[15]; int n = 0; printf("Input the filename:"); scanf("%s",filename);
利用c++进行程序词法分析
王陈锋的博客
10-03 3888
2. 编写的分析程序能够正确识别源程序中的单词符号，包括：标识符、关键字、常见运算符、分隔符、整数、小数、单行注释，字符常数，字符串常数；对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误提示，保证顺利完成整个源程序的词法分析；自定义一种程序设计语言，或者选择已有的一种高级语言，利用状态转换图编制它的词法分析程序。3. 识别出的单词以的形式输出或保存；能够使编写的分析程序对简单的程序段进行词法分析。1. 对单词的构词规则有明确的定义；实现简单的词法分析程序；
C语言的词法分析器源码实现（Qt / c++编写）
最新发布
biao2488890051的博客
05-19 528
网上找了好些博客，但是实现的都不全，或者压根不太对，代码书写也不太规范，所以自己参考这些博客以及C语言词法规则，用qt重新写了这么一个词法分析器。包括 lexc_language.h 和 lexc_language.cpp 两个文件，总计约600行代码。话不多说，先看效果，然后直接上源码，自我认为本人写的比较清晰，方便阅读和复用的。其实就是一个状态机进行识别，这个网上可以找到很多资料，不赘述了。
c++ 的词法分析
georgehoul的专栏
10-11 1192
词法分析是指原文件被分解为词法符号的过程，通常是整个编译过程的第一步。虽然通常认为了解 C++ 的词法分析过程对于大多数一辈子都不会编写 C++ 编译器的程序员来说意义不大，但这篇文章不仅仅是为了满足某些人的好奇心而写的，因为我觉得任意一个严谨的 C++ 程序员都应该对 C++ 的词法分析有所了解，以避免一些偶然情况下会发生的错误（我们花了若干年去熟悉 C++ 的语法，为什么不花上一天时间随便熟悉
【编译原理】 C++实现词法分析（可运行有注解）
小树じ的博客
02-08 5481
实验目的： 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。 词法分析、语法分析、语义分析的区别： 1.词法分析：   词法分析是编译过程的第一个阶段，这个阶段的任务可以看成是-从左到右一个字符一个字符地读入源程序，从中识别出一个个“单词”符号，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)；   通过词法分析程序实现上述读入源程序，识别符号的任务，词法
C++-c语言词法分析器
MoOtA
04-15 2293
特别的，在预处理阶段，识别单/多行注释时，遇到了一个小问题，由于要支持字符串常量和字符常量，而该常量中可能包含//，/*，导致将字符串内容识别为注释，另外，由于需要支持转义字符‘\’的存在，正确识别的字符串，也成为了一大问题，在多次修改匹配代码后，终于将问题解决。无符号十六进制整型常量，正规式为： 0(X|x)(0-9|a-f|A-F)*赋值运算符 += -= *= /= %= = &= ^= |=实验要求：无符号十进制整型常量，正规式为：(1-9)(0-9)*
C++ 代码解析(词法分析、语法分析).docx
11-04
【C++ 代码解析(词法分析、语法分析)】 在软件开发中，尤其是涉及到编译器或解释器的设计时，代码解析是一个重要的步骤。它包括词法分析和语法分析两个阶段。词法分析（也称为扫描或词法分解）是将源代码分解成一个...
C++ 代码解析(词法分析、语法分析).pdf
11-04
总的来说，这个例子提供了一个理解词法分析和语法分析基础知识的起点，有助于初学者了解编译原理的基础概念，并动手实践简单的代码解析。然而，对于大型项目或专业应用，需要更复杂和全面的解析器库，如ANTLR或Flex&...
C++-代码解析(词法分析、语法分析).docx
11-04
C++代码解析（词法分析、语法分析） C++ 代码解析是指对 C++ 代码进行词法分析和语法分析，以获得代码的结构和含义。词法分析是将源代码分割成符号流，而语法分析则是对符号流进行语法检查和语义分析。 词法分析 ...
c++实现词法分析器
03-24
c++ ，词法分析器， 编译原理， c语言的词法分析，代码详细，很易懂
C++-代码解析(词法分析、语法分析).pdf
11-04
C++ 代码解析（词法分析、语法分析） C++ 代码解析是编译原理的重要组成部分，涉及到词法分析和语法分析两个方面。词法分析是将源代码分割成单个单词的过程，而语法分析是对单词序列的语法正确性进行检查。本文将...
C++-代码解析(词法分析、语法分析) (2).pdf
11-04
C++代码解析（词法分析、语法分析） 在C++编程中，代码解析是指对源代码进行分析和处理，以提取有用的信息。代码解析可以分为词法分析和语法分析两个阶段。词法分析是指对源代码进行词法分析，识别出关键字、标识符...
编译原理——用C++模拟一个词法分析器
Jayphone17的博客
09-29 2178
一、需求分析 当今时代是飞速发展的信息时代，随着计算机技术的普及与网络的广泛应用，计算机语言更显得至关重要。计算机语言是人与计算机之间传递信息的媒介。计算机系统最大特征是指令通过一种语言传达给机器。为了使电子计算机进行各种工作，就需要有一套用以编写计算机程序的数字、字符和语法规划，由这些字符和语法规则组成计算机各种指令(或各种语句)。这些就是计算机能接受的语言。一个高级语言程序的实现，必...
词法分析器（c++）
yizhizhazhahui的博客
11-27 6241
c++，编译原理实验，词法分析器
编译原理：C++词法分析器
weixin_44219441的博客
10-15 1798
编译原理之C++词法分析器 1.明确实验目的： 对于每一个以文件形式给出的C或C++项目，对其进行词法分析 如图所示 2.分析实验需求： 第一：需要对文件进行读取，则需要用到文件读取流 第二：既然是词法分析，那就涉及到需要对每一个字符进行分析和归类 第三：既然是对每个字符进行分析，那代码的架构就是基于每一个字符，所以函数的编写是基于读取到的每一个字符。 3.进行实验： 首先我需要对所有的 首先我需要写出实验中所要用到的函数名和它的功能 bool isKey() //判断是否为关键字的嵌套函数，给出C++中
编译原理---词法分析器的简单实现(c++)
weixin_43919032的博客
04-05 4700
什么是词法分析器 简单来说，词法分析器，就是将用户输入的代码（一个个字符）通过某种方式拼接成有意义的一个个字符片段，什么是有意义呢？不同语言的定义不太相同，但大体来说，有意义表示这五类：关键字、标识符、数字串、运算符和分隔符、空白字符。拼接的方式多种多样，可以使用DFA也可以单纯的进行字符的拼接。 大致思路 这里就使用字符的拼接，由于这个程序比较简单，就每次判断下一个字符是字母、数字或者下划...
C++ 的词法分析
天道酬勤
11-04 5049
C++ 的词法分析词法分析是指原文件被分解为词法符号的过程，通常是整个编译过程的第一步。虽然通常认为了解 C++ 的词法分析过程对于大多数一辈子都不会编写 C++ 编译器的程序员来说意义不大，但这篇文章不仅仅是为了满足某些人的好奇心而写的，因为我觉得任意一个严谨的 C++ 程序员都应该对 C++ 的词法分析有所了解，以避免一些偶然情况下会发生的错误（我们花了若干年去熟悉 C++
C++代码解析：简易词法与语法分析实现
"C++ 代码解析涉及到词法分析和语法分析两个关键步骤，这是编译器设计的基础。词法分析是将源代码分解成一个个有意义的符号或 token，而语法分析则是根据这些 token 建立抽象语法树，理解代码的结构。此文档提供了一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值