词法分析器

于 2023-07-11 22:09:39 发布
阅读量149 收藏
点赞数
文章标签： c++ 算法 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54385745/article/details/131670172
版权

词法分析代码

##待分析源程序

int main(){
	int36  a=A7,b=5TU,z=a+b;
	int c=10;
	for(int i=0;i<10;i++){
	if(c%2==0) z=z+10;
	else z=z+1Z;
               c=c+1;}
}

###词法分析器实现

#define _CRT_SECURE_NO_WARNINGS 1
#include <iostream>
#include <string>
#include <string.h>
#include <Windows.h>
using namespace std;

/* 单词编码 */
enum TokenCode
{
	/*未定义*/
	TK_UNDEF = 0,

	/* 关键字 */
	TK_KW,

	/* 运算符 */
	TK_OP,

	/* 界符 */
	TK_DL,

	/* 数值常量 */
	TK_INT,		//整型常量
	TK_DOUBLE,	//浮点型常量

	/*字符常量*/
	TK_CHAR,

	/* 标识符 */
	TK_IDENT,
	/*字符串常量*/
	TK_STRING,
	/*int36型常量*/
	TK_INT36,
	/*16进制常量*/
	TK_INT16
};

/******************************************全局变量*****************************************************/
TokenCode code = TK_UNDEF;		//记录单词的种别码
const int MAX = 33;				//关键字数量
int row = 1;					//记录字符所在的行数
string token = "";				//用于存储单词
string token1 = "";
string int36[10];
char  keyWord[][10] = { "auto", "break", "case", "char",
"const", "continue","default", "do",
"double", "else", "enum", "extern",
"float", "for", "goto", "if",
"int", "long","register", "return",
"short", "signed", "sizeof", "static",
"struct", "switch", "typedef", "union",
"unsigned", "void","volatile", "while","int36" };	//存储关键词
/**********************************************函数*****************************************************/

/********************************************
* 功能：打印词法分析的结果
* code：单词对应的种别码
* token：用于存储单词
* row：单词所在的行数
*********************************************/
void print(TokenCode code)
{

	switch (code)
	{
		/*未识别的符号*/
	case TK_UNDEF:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_RED);	//未识别的符号为红色
		cout << "未识别的符号\t\t" << token << "\t(0, " << token << ")" << endl;
		return;
		break;
		/*关键字*/
	case TK_KW:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_RED);	//关键字为蓝色
		cout << "关键字\t\t" << token << "\t(1, " << token << ")" << endl;
		return;
		break;

		/* 运算符 */
	case TK_OP:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_BLUE);	//关键字为蓝色
		cout << "运算符\t\t" << token << "\t(3, " << token << ")" << endl;
		return;
		break;

		/* 分隔符 */
	case TK_DL:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_BLUE);	//关键字为蓝色
		cout << "界符\t\t" << token << "\t(6, " << token << ")" << endl;
		return;
		break;

		/* 数值常量 */
	case TK_INT:	//整型常量
	case TK_DOUBLE:	//浮点型常量
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_RED | FOREGROUND_GREEN);	//常量为黄色
		if (token.find('.') == token.npos)
			cout << "数值常量\t\t" << token << "\t(4, " << token << ")" << endl;
		else
			cout << "数值常量\t\t" << token << "\t(4, " << token << ")" << endl;
		return;
		break;

		/*字符常量*/
	case TK_CHAR:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_RED | FOREGROUND_GREEN);	//常量为黄色
		cout << "字符常量\t\t" << token << "\t(5, " << token << ")" << endl;
		return;
		break;

		/* 标识符 */
	case TK_IDENT:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_BLUE);	//标识符为蓝色
		cout << "标识符\t\t" << token << "\t(2, " << token << ")" << endl;
		return;
		break;
	case TK_STRING:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_GREEN);	//字符串为绿色 
		cout << "字符串\t\t" << token << "\t(7, " << token << ")" << endl;
		return;
		break;
	case TK_INT36:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_GREEN);	//int36型常量为绿色 
		cout << "int36型常量\t\t" << token << "\t(8, " << token << ")" << endl;
		return;
		break;
	case TK_INT16:
		SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_BLUE | FOREGROUND_GREEN);	//关键字为绿色 
		cout << "16进制常量\t\t" << token << "\t(9, " << token << ")" << endl;
		return;
		break;
	default:
		break;
	}
}

/********************************************
* 功能：判断是否是关键字
* MAX：关键字数量
* token：用于存储单词
*********************************************/
bool isKey(string token)
{
	for (int i = 0; i < MAX; i++)
	{
		if (token.compare(keyWord[i]) == 0)
			return true;
	}
	return false;
}

/********************************************
* 功能：返回关键字的内码值
* MAX：关键字数量
* token：用于存储单词
*********************************************/
int  getKeyID(string token)
{
	for (int i = 0; i < MAX; i++)
	{	//关键字的内码值为keyWord数组中对应的下标加1
		if (token.compare(keyWord[i]) == 0)
			return 1;
	}
	return -1;
}

/********************************************
* 功能：判断一个字符是否是字母
* letter：被判断的字符
*********************************************/
bool isLLetter(char letter)
{
	if ((letter >= 'a' && letter <= 'z'))
		return true;
	else return false;

}

bool isMLetter(char letter)
{
	if ((letter >= 'A' && letter <= 'Z'))
		return true;
	else return false;

}
/********************************************
* 功能：判断一个字符是否是数字
* digit：被判断的字符
*********************************************/
bool isDigit(char digit)
{
	if (digit >= '0' && digit <= '9')
		return true;
	else return false;
}

/********************************************
* 功能：词法分析
* fp：文件指针
* code：单词对应的种别码
* token：用于存储单词
* row：单词所在的行数
*********************************************/
void lexicalAnalysis(FILE* fp)
{
	char ch;

	while ((ch = fgetc(fp)) != EOF)	//未读取到文件尾，从文件中获取一个字符
	{
		token = ch;									//将获取的字符存入token中
		if (ch == ' ' || ch == '\t' || ch == '\n')	//忽略空格、Tab和回车
		{
			if (ch == '\n')							//遇到换行符，记录行数的row加1
				row++;
			continue;								//继续执行循环
		}
		else if (ch == '\"') {
			ch = fgetc(fp);							//去后面的字符 
			while (ch != '\"') {
				token.push_back(ch);
				ch = fgetc(fp);
			}
			token.push_back('\"');					//结尾的引号加入token 
			code = TK_STRING;
		}
		else if (isLLetter(ch))			//以字母开头，关键字或标识符
		{
			token = "";					//token初始化
			token.push_back(ch);	//将读取的字符ch存入token中
			ch = fgetc(fp);			//获取下一个字符
			while (isLLetter(ch) || isDigit(ch) || ch == '_')	//非字母或数字或下划线时退出，将单词存储在token中
			{
				token.push_back(ch);	//将读取的字符ch存入token中
				ch = fgetc(fp);			//获取下一个字符
			}
			//文件指针后退一个字节，即重新读取上述单词后的第一个字符
			fseek(fp, -1L, SEEK_CUR);
			if (isKey(token)) {	//关键字
				code = TK_KW;
				if (token.compare("int36") == 0) {
					int i = 0, count = 0;
					ch = fgetc(fp); count = count + 1;
					if (ch == ' ')ch = fgetc(fp);
					while (ch != ';') {
						token1 = "";
						while (isLLetter(ch) && ch != ';') {
							token1.push_back(ch);	//将读取的字符ch存入token中
							ch = fgetc(fp); count++;
						}
						if (ch == '=') {
							int36[i] = token1; i++;
						}
						if (ch == ';')break;
						ch = fgetc(fp); count++;
					}
					while (count > 0) {
						fseek(fp, -1L, SEEK_CUR); count--;
					}
				}

			}
			else	//标识符
				code = TK_IDENT;	//单词为标识符
		}

		else if (isMLetter(ch)) {
			token = "";					//token初始化
			token.push_back(ch);	//将读取的字符ch存入token中
			ch = fgetc(fp);	        //获取下一个字符
			while (isMLetter(ch) || isDigit(ch))	//非大写字母或数字或时退出，将单词存储在token中
			{
				token.push_back(ch);	//将读取的字符ch存入token中
				ch = fgetc(fp);			//获取下一个字符
			}
			fseek(fp, -1L, SEEK_CUR);
			code = TK_INT36;
		}
		else if (isDigit(ch))	//无符号常数以数字开头
		{
			int flag = 0;
			//int isdouble = 0;	//标记是否为浮点数
			token = "";			//token初始化
			while (isDigit(ch) || isMLetter(ch))	//当前获取到的字符为数字或大写字母 
			{
				token.push_back(ch);		//读取数字，将其存入token中
				ch = fgetc(fp);             //从文件中获取下一个字符
				if (isMLetter(ch))flag = 1;
				/*	//该单词中第一次出现小数点
					if (ch == '.' && isdouble == 0)
					{
						//小数点下一位是数字
						if (isDigit(fgetc(fp)))
						{
							isdouble = 1;		//标记该常数中已经出现过小数点
							fseek(fp, -1L, SEEK_CUR);		//将超前读取的小数点后一位重新读取
							token.push_back(ch);			//将小数点入token中
							ch = fgetc(fp);				//读取小数点后的下一位数字
						}
					}*/
			}

			if (flag == 1)
				code = TK_INT36;	//单词为int36型常量 
			else {
				int sign = 0;
				token1 = "";
				int count = 0;
				while (ch != '=' && ch != '<') {
					fseek(fp, -1L, SEEK_CUR);
					ch = fgetc(fp);
					fseek(fp, -1L, SEEK_CUR); count++;
				}
				fseek(fp, -1L, SEEK_CUR); token1.push_back(fgetc(fp));
				for (int i = 0; i < 3; i++) {
					if (token1.compare(int36[i]) == 0) {
						code = TK_INT16;
						sign = 1;
						while (count > 0) {
							fseek(fp, +1L, SEEK_CUR); count--;
						}
						break;
					}
				}
				if (sign == 0) {
					while (count > 0) {
						fseek(fp, +1L, SEEK_CUR); count--;
					}
					code = TK_INT;
				}

			}
			fseek(fp, -1L, SEEK_CUR);
		}

		else if (ch == '_')
		{
			token = "";					//token初始化
			while (isLLetter(ch) || isDigit(ch) || ch == '_')	//非字母或数字或下划线时退出，将单词存储在token中
			{
				token.push_back(ch);	//将读取的字符ch存入token中
				ch = fgetc(fp);			//获取下一个字符
			}
			//文件指针后退一个字节，即重新读取上述单词后的第一个字符
			fseek(fp, -1L, SEEK_CUR);
			code = TK_IDENT;	//单词为标识符
		}

		else if (ch == '\'') {
			token = "";
			for (int i = 0; i < 3; i++)
			{
				token.push_back(ch);
				ch = fgetc(fp);
			}
			fseek(fp, -1L, SEEK_CUR);
			for (auto c = token.begin() + 1; c != token.end() - 1; c++)
			{
				if ((*c >= 'a' && *c <= 'z') || (*c >= 'A' && *c <= 'Z') || (*c >= '0' && *c <= '9'))
					code = TK_CHAR;
				else
					code = TK_UNDEF;
			}
		}
		else switch (ch)
		{
			/*运算符*/
		case '+':
		{
			ch = fgetc(fp);				//超前读取'+'后面的字符
			if (ch == '+')				//累加号++
			{
				token.push_back(ch);	//将'+'后面的'='存入token中
				code = TK_OP;			//单词为"++"
			}
			else {						//加号+
				code = TK_OP;		//单词为"+"
				fseek(fp, -1L, SEEK_CUR);	//将超前读取的字符重新读取
			}
		}
		break;
		case '-':
		{
			ch = fgetc(fp);
			if (ch == '-')
			{
				token.push_back(ch);
				code = TK_OP;
			}
			else {
				code = TK_OP;
				fseek(fp, -1L, SEEK_CUR);
			}
		}
		break;
		case '*': code = TK_OP;	break;
		case '/': code = TK_OP;	break;
		case '%': code = TK_OP;	break;
		case '=':
		{
			ch = fgetc(fp);				//超前读取'='后面的字符
			if (ch == '=')				//==等于号
			{
				token.push_back(ch);	//将'='后面的'='存入token中
				code = TK_OP;			//单词为"=="
			}
			else {						//=赋值运算符
				code = TK_OP;		//单词为"="
				fseek(fp, -1L, SEEK_CUR);	//将超前读取的字符重新读取
			}
		}
		break;
		case '<':
		{
			ch = fgetc(fp);				//超前读取'<'后面的字符
			if (ch == '=')				//<=小于等于号
			{
				token.push_back(ch);	//将'<'后面的'='存入token中
				code = TK_OP;			//单词为"<="
			}
			else {						//<小于号
				code = TK_OP;			//单词为"<"
				fseek(fp, -1L, SEEK_CUR);	//将超前读取的字符重新读取
			}
		}
		break;
		case '>':
		{
			ch = fgetc(fp);				//超前读取'>'后面的字符
			if (ch == '=')				//>=大于等于号
			{
				token.push_back(ch);	//将'>'后面的'='存入token中
				code = TK_OP;			//单词为">="
			}
			else {						//>大于号
				code = TK_OP;			//单词为">"
				fseek(fp, -1L, SEEK_CUR);	//将超前读取的字符重新读取
			}
		}
		break;
		case '&':
		{
			ch = fgetc(fp);				//超前读取'>'后面的字符
			if (ch == '&')				//>=大于等于号
			{
				token.push_back(ch);	//将'>'后面的'='存入token中
				code = TK_OP;			//单词为">="
			}
			else {						//>大于号
				code = TK_OP;			//单词为">"
				fseek(fp, -1L, SEEK_CUR);	//将超前读取的字符重新读取
			}
		}
		break;
		case '|':
		{
			ch = fgetc(fp);				//超前读取'>'后面的字符
			if (ch == '|')				//>=大于等于号
			{
				token.push_back(ch);	//将'>'后面的'='存入token中
				code = TK_OP;			//单词为">="
			}
			else {						//>大于号
				code = TK_OP;			//单词为">"
				fseek(fp, -1L, SEEK_CUR);	//将超前读取的字符重新读取
			}
		}
		break;
		/*分界符*/
		case '(': code = TK_DL; break;
		case ')': code = TK_DL; break;
		case '[': code = TK_DL; break;
		case ']': code = TK_DL; break;
		case '{': code = TK_DL; break;
		case '}': code = TK_DL; break;
		case ',': code = TK_DL; break;
		case ';': code = TK_DL; break;
			//未识别符号
		default: code = TK_UNDEF; break;
		}
		print(code);				//打印词法分析结果
	}
}

int main()
{
	string filename;		//文件路径
	FILE* fp;				//文件指针
	while (true) {
		if ((fp = fopen("0-1背包.txt", "r")) != NULL)		//打开文件
			break;
		else
		{
			cout << "路径输入错误！" << endl;
			break;
		}	//读取失败
	}
	cout << "/=***************************词法分析结果***************************=/" << endl;
	lexicalAnalysis(fp);		//词法分析
	fclose(fp);					//关闭文件
	return 0;
}
计算机小白中的小白
关注
【编译原理】词法分析器代码分析报告
慢热型网友的博客
06-08 2072
该词法分析器基于状态转换图进行设计。
编译原理词法分析实验代码（C/C++实现）
薛崇祥的博客
05-03 5838
临时写了一个词法分析的代码，大概可以分析所有C语言程序吧，反正可以分析它自己，有较强的可维护性，时间空间效率都不低，采用一个类似字典树的结构（可能类似自动机），可处理任意长度的分界符识别，单双引号中的反斜杠转义字符也可处理。报错位置合理，信息清晰。muuuuuuuuuuuuuua！ #include<bits/stdc++.h> using namespace std; const i...
编译原理 词法分析 源代码
GJ_007的博客
03-16 3069
#include&lt;iostream&gt;#include&lt;string&gt;#include&lt;fstream&gt;#include&lt;vector&gt;// C++中的一种数据结构,确切的说是一个类.它相当于一个动态的数组,当程序员无法知道自己需要的数组的规模多大时,用其来解决问题可以达到最大节约空间的目的.using namespace std;vector &lt...
编译原理-词法分析器代码分析报告
呆萌小新@渊洁的博客
05-04 1974
该词法分析器基于状态转换图进行设计。首先画出识别特定单词的状态转换图并编写对应的单词识别程序，然后把不同的状态转换图合并为完整的状态转换图，并编写对应的完整的识别程序。完整的识别程序中，根据输入字符的不同调用识别不同单词的程序。 其中以 “//abcd\na=1”为例 首字符识别为 /,进入注释除号判断操作,取容器中下一位元素而不删除当前元素
编译原理——词法分析器（C/C++代码实现）
qq_58773908的博客
01-01 4768
编译原理实验：实验一：词法分析器编写识别单词的词法分析器，控制台输出识别出的每个单词。内含实验代码。实验报告下载链接。
基于java实现的语法分析器及词法分析器
04-17
在编程语言处理领域，语法分析器和词法分析器是至关重要的组成部分，它们主要用于解析源代码，将其转化为计算机可以理解的形式。在这个项目中，我们关注的是一个基于Java实现的语法分析器和词法分析器。Java是一种...
词法分析器_词法分析器_简单的词法分析器_
10-03
词法分析器，也称为扫描器或词法分析程序，是编译器设计中的一个重要组成部分。它的主要任务是将源代码文本分解成一系列有意义的、独立的单元，这些单元被称为“标记”（Token）。词法分析器的工作原理是通过模式...
编译原理实验词法分析器
01-02
编译原理实验词法分析器 本实验的目的是设计和实现一个词法分析器，以加深对词法分析过程的理解，并掌握词法分析方法。实验中，我们将使用 C 语言实现一个简单的词法分析器，能够识别和分析 C 语言源程序中的单词...
C语言开发课程设计词法分析器源代码.zip
06-08
C语言开发课程设计词法分析器源代码介绍 课程设计：词法分析器； 实验1：词法分析实验 实验2：语法分析实验 课程设计 设计任务： 使用词法分析的自动生成工具 Flex 生成 C/C++语言的词法分析器 ,当输入C/C++源代码...
编译原理词法分析器和语法分析器的实现（C++）.zip
最新发布
04-17
编译原理词法分析器和语法分析器的实现（C++） 编译原理中的词法分析器和语法分析器是编译器的重要组成部分，它们分别负责将源代码转换为词法单元和抽象语法树。以下是一个简化的项目介绍，描述了如何使用C++实现这...
编译原理词法分析程序代码
05-25
这是我自己写的编译原理词法分析程序代码，功能应该比较全，使用是在“test.txt"文本中输入要分析的程序代码段，程序运行后会，会把结果输入不同的文本中，其中“Operator.txt"为运算符，“LimitSign.txt"为界限符...."error.txt"为输入的错误。
编译原理,简单的词法分析器源代码,能识别标识符部分关键字等
05-14
简单的词法分析器,能识别标识符,8进制,16进制,10进制数,编译原理课的作业。有些地方还能优化…不过懒的弄了…
编译原理 词法分析程序 JAVA
06-26
编译原理 词法分析程序 JAVA 构造识别单词集的自动机，编写程序实现。 五、实验的处理单词集 （注：单词种类统一分类如下：） 单词符号 单词种类 任意变量名（以字母开头由字母和数字组成的符号串） 0 ( 1 ) 2 { 3 } 4 ; 5 = 6 + 7 * 8 > 9 < 10 ， 11 ‘ 12 整型常数（由数字组成的符号串） 30 main 26 int 21 if 22 then 23 else 24 return 25 其它 100 六、处理程序例和处理结果例 例1：源程序： main() { y=x-1; } 处理结果： (26,"main") (1,"(") (2,")") (3,"{") (0,"y") (6,"=") (0,"x") (100,"-") (20,"1") (5,";") (4,")") 例2：源程序 main() { int a,b; b!=a-1; } 处理结果： (26,"main") (1,"(") (2,")") (3,"{" } (21,”int”) (0,"a") (11,",") (0,"b") (5,”;”) (0,"b") (100,"! ") (6,"=") (0,"a") (100,"-") (30,"1") (5,”;”) (4,”)”)
编译原理（词法分析 语法分析源代码＋报告）
05-31
一、实验目的 编制一个递归下降分析程序，实现对词法分析程序提供的单词序列的语法检查和结构分析。 二、实验要求 利用C语言编制递归下降分析程序，并对简单语言进行语法分析。 1、 用扩充的BNF表示如下 （1）：：beginend （2）：：{;} （3）:: （4）::ID:= （5）::={+|-} （6）::{*|/} （7）::ID|NUM() 2、实验要求说明 输入单词串，以”#”结束，如果是文法正确的句子，则输出成功的信息，打印”success”,否则输出”error”。 例如： 输入 begin a:=9;x:=2*3;b:=a+x end 输出 success 输入 x:=a+b*c end # 输出 error
编译原理词法分析实验代码
06-23
词法分析（英语：lexical analysis）是计算机科学中将字符序列转换为单词（Token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（Lexical analyzer，简称Lexer），也叫扫描器（Scanner）。
【编译原理】词法分析（C/C++源代码+实验报告）
热门推荐
xtcc的博客
10-13 8万+
文章目录1 实验目的和内容1.1实验目的1.2实验内容2 设计思想2.1单词种类及其正规式2.2 根据正规式构造NFA2.3根据NFA构造DFA2.3.1根据替换规则构造未化简的DFA2.3.2最小化DFA3算法流程4源程序5调试数据5.1 测试样例一5.2 测试样例二5.3 测试样例三6实验调试情况及体会6.1 实验调试情况6.2 实验体会 1 实验目的和内容 1.1实验目的 （1）根据 PL/0 语言的文法规范，编写PL/0语言的词法分析程序；或者调研词法分析程序的自动生成工具LEX或FLEX，设计并实
【编译】词法分析
MMomega的手记
11-04 1218
编译原理 词法分析
编译原理———词法分析器
我的博客
03-24 7175
设计并实现一个包含预处理功能的词法分析程序，加深对编译中词法分析过程的理解。
编译原理之词法分析实验（附完整C/C++代码与总结）
人生处处是围城，一切都是最好的安排！
05-23 7810
编译原理之词法分析实验，附完整详细代码与测试结果，最后有整体代码思路总结
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

计算机小白中的小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值