词法分析器C++实现

已于 2023-03-03 22:03:11 修改
阅读量1.3k 收藏 27
点赞数 5
分类专栏： 编译原理 文章标签： c++ 开发语言
于 2023-03-03 21:52:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjy9494/article/details/129327906
版权

词法分析器C++实现


单词分类表
大概可以分为以下几个大类：
1.标识符 有程序设计者自己定义但是必须符合标识符的定义规范
2.关键字
3.常量
4.运算符
5.分界符

单词符号 种类 类别号 单词符号 种类 类别号
int 关键字 1 + 运算符 21
float 关键字 2 - 运算符 22
long 关键字 3 * 运算符 23
short 关键字 4 / 运算符 24
double 关键字 5 = 运算符 25
bool 关键字 6 == 运算符 26
char 关键字 7 < 运算符 27
if 关键字 8 > 运算符 28
else 关键字 9 <= 运算符 29
while 关键字 10 >= 运算符 30
do 关键字 11 ++ 运算符 31
for 关键字 12 – 运算符 32
try 关键字 13 += 运算符 33
void 关键字 14 -= 运算符 34
case 关键字 15 ( 分界符 35
switch 关键字 16 ) 分界符 36
return 关键字 17 { 分界符 37
throw 关键字 18 } 分界符 38
static 关键字 19 [ 分界符 39
main 关键字 20 ] 分界符 40
, 分界符 41
; 分界符 42
整形常量 整形常量 43
浮点型常量 浮点型常量 44
标识符 标识符 45

单词结构文法G[S]
S->关键字|运算符|分界符|整型常量|浮点型常量|标识符
关键字->int|float|long|short|double|bool|char|if|else|while|do|for|try|void|case|switch|return|throw|static
运算符->+|-||/|=|==|<|>|<=|>=|++|–|+=|-=
分界符->(|)|{|}|[|]|,|;|//|/|/
digit->0|1|2|3|4|5|6|7|8|9
整型常量->digit (digit)
浮点型常量->digit(digit).digit(digit)
letter->a|b|c|d…|z|A|B|…|Z|_
标识符->letter(letter|digit)*

单词状态转化图

错误处理

  • 单词拼写错误
    当前状态与当前输入符号在转换表中的对应项为空

  • 非法字符
    不属于标识符定义规范同时也不属于定义字符的，例如@ ~ $ 中文字符等

    若检测到了非法字符，则程序报错并给出具体报错位置；若检测到单词拼写错误，则报错并给出报错的具体位置，程序终止

代码部分

#include<iostream>
#include<fstream>
#include<string>
#include<vector>
#include<algorithm>
#include<map>
#include<set>
using namespace std;

vector< pair<string, int> > v;
set<string> keys;    //存放关键字的集合
string keysArray[] = { "int","float","long","short","double","bool","char","if","else","while","do","for","try",
"void","case","switch","return","throw","static","main"};
string token = "";  //用于存储单词

enum TokenCode
{
	/*未定义字符例如\t \n等*/
	TK_UNDEF = 0,

	/* 关键字*/
	KW_INT = 1,  //int 关键字	
	KW_FLOAT,    //float关键字
	KW_LONG,     //long关键字
	KW_SHORT,    //short关键字
	KW_DOUBLE,   //double关键字
	KW_BOOL,     //bool关键字
	KW_CHAR,     //char关键字
	KW_IF,       //if关键字
	KW_ELSE,     //else关键字
	KW_WHILE,    //while关键字
	KW_DO,       //do关键字
	KW_FOR,      //for关键字
	KW_TRY,      //try关键字
	KW_VOID,     //void关键字
	KW_CASE,     //case关键字
	KW_SWITCH,   //switch关键字
	KW_RETURN,   //return关键字
	KW_THROW,    //throw关键字
	KW_STATIC,   //static关键字
	KW_MAIN,     //main关键字‘

	/*运算符*/
	TK_PLUS,     //运算符+
	TK_MINUS,    //运算符-
	TK_MUL,      //运算符*
	TK_DIV,      //运算符 /
	TK_ASSIGN,   //赋值语句
	TK_EQ,       //等于号
	TK_LT,       //小于
	TK_GT,       //大于
	TK_LEQ,      //小于等于
	TK_GEQ,      //大于等于
	TK_PPLUS,    //++
	TK_MMINUS,   //--
	TK_PEQ,      //+=
	TK_MEQ,      //-=

	/*分界符*/
	TK_OPENPA,   // (
	TK_CLOSEPA,  // )
	TK_BEGIN,    // {
	TK_END,      // }
	TK_OPENBR,   //[
	TK_CLOSEBR,  //]
	TK_COMMA,    //逗号
	TK_SEMOCLON, //分号;
	TK_INT,      //整型常量
	TK_DOUBLE,   //浮点型常量

	/*标识符*/
	TK_IDENT,    //标识符
};
/* 报错信息
*/
enum WrongInfo {
	WI_UDSG = 1,    //未定义的符号 例如 # @等
	WI_WID,         //错误的标识符声明
};
TokenCode code = TK_UNDEF;   //记录单词的种别码
WrongInfo err = WI_UDSG;     //记录报错的信息
struct Position {
	int column; //列
	int line;   //行
};

bool isLetter(char c) {
	if ((c >= 'a' && c <= 'z') || (c >= 'A' && c <= 'Z')) return true;
	return false;
}

bool isDigit(char c) {
	if (c >= '0' && c <= '9') {
		return true;
	}
	return false;
}


int getKeyById(string token) {
	int keysArray_size = sizeof(keysArray)/sizeof(keysArray[0]);
	for (int i = 0; i < keysArray_size; i++) {
		if (token==keysArray[i]) {
			return i + 1;
		}
	}
}

void printToken(TokenCode code,Position pos) {
	string op = " ";  //表示分界符和运算符
	if((code>=1 && code <= 20) || code == 45 || code == 43 || code == 44){
		//switch (code) {
		//case KW_INT:
		//case KW_FLOAT:
		//case KW_LONG:
		//case KW_SHORT:
		//case KW_DOUBLE:
		//case KW_BOOL:
		//case KW_CHAR:
		//case KW_IF:
		//case KW_ELSE:
		//case KW_WHILE:
		//case KW_DO:
		//case KW_FOR:
		//case KW_TRY:
		//case KW_VOID:
		//case KW_CASE:
		//case KW_SWITCH:
		//case KW_RETURN:
		//case KW_THROW:
		//case KW_STATIC:
		//case KW_MAIN:
		//case TK_IDENT:
		//case TK_INT:
		//case TK_DOUBLE:
			cout << '<' << code << ',' << token << '>' << endl;
		//}
	}
	else if (code >= 21 && code <= 42) {
		switch (code) {
		case TK_PLUS: op = "+";
			break;
		case TK_MINUS: op = "-";
			break;
		case TK_MUL: op = "*";
			break;
		case TK_DIV: op = "/";
			break;
		case TK_ASSIGN: op = "=";
			break;
		case TK_EQ: op = "==";
			break;
		case TK_LT: op = "<";
			break;
		case TK_GT: op = ">";
			break;
		case TK_LEQ: op = "<=";
			break;
		case TK_GEQ: op = ">=";
			break;
		case TK_PPLUS: op = "++";
			break;
		case TK_MMINUS: op = "--";
			break;
		case TK_PEQ: op = "+=";
			break;
		case TK_MEQ: op = "-=";
			break;
		case TK_OPENPA: op = "(";
			break;
		case TK_CLOSEPA: op = ")";
			break;
		case TK_BEGIN: op = "{";
			break;
		case TK_END: op = "}";
			break;
		case TK_OPENBR: op = "[";
			break;
		case TK_CLOSEBR: op = "]";
			break;
		case TK_COMMA: op = ",";
			break;
		case TK_SEMOCLON: op = ";";
			break;
		}
		cout << '<' << code << ',' << op << '>' << endl;
	}
	else if (code == 0) {
		switch(err){
		case WI_UDSG: cout << "Wrong! Undefined signal! Error happen at line" << pos.line << endl;
			break;
		case WI_WID: {
			err = WI_UDSG;
			cout << "WRONG Identifier declare! Error happen at line" << pos.line << endl;
			break; 
		}
		}
	}
	
}

void lexicalAnalysis() {
	ifstream ifs;
	ifs.open("test.txt", ios::in);
	char byte = 0;
	Position cur = { 0, 1};  // #表示未定义字符
	while ((byte=ifs.get()) != EOF) {
		if (byte == ' ' || byte == '\t') {
			// 遇到空格跳过
			if (byte == '\t') {
				cur.column += 4;
			}
			else {
				cur.column += 1;
			}
			continue;
		}
		else if (byte == '\n') {
			//遇到换行符
			cur.column = 1;
			cur.line += 1;
			continue;
		}
		else if (isLetter(byte)) {
			//标识符或者是关键字
			token = "";     //token初始化
			do{
				token.push_back(byte);
				cur.column += 1;     //当前的字符位置行不变，列+1
				byte = ifs.get();    //获取下一个字符
			} while (isLetter(byte) || isDigit(byte) || byte == '_');  //循环结束说明当前token中已经存储一个完整的单词
			ifs.seekg(-1, ios::cur);    //往前退一个字母
			set<string>::iterator pos = keys.find(token);  //查找token是否是关键字
			if (pos != keys.end()) {
				//在keys中找到了 说明token是关键字
				code = TokenCode(getKeyById(token));
			}
			else {
				code = TK_IDENT;  //若找不到说明是标识符
			}
		}
		else if (isDigit(byte)) {  //浮点型常数和整型常数以数字开头
			/*
			* 这里没有考虑其他进制的情况以及都没有考虑的报错问题
			*/
			token = "";  //token初始化
			bool other_flag = false;  //表示是其他的进制表示方法
			if (byte == '0') { //判断除十进制以外的其他进制
				token.push_back(byte); //将0压入token串里
				char nextByte = ifs.get();
				if (nextByte == 'b' || nextByte == 'B' || nextByte == 'x' || nextByte == 'X') {
					//若是上述的字母出现在0后面是正确的，压入这些字母继续判断
					other_flag = true;
					token.push_back(nextByte);
					byte = ifs.get();
				}
				else
					ifs.seekg(-1, ios::cur);
			}
			bool isDouble = false;  //判断是否是浮点数
			while (isDigit(byte)) {
				token.push_back(byte);
				byte = ifs.get();
				if (byte == '.' && isDouble == false) { //检查出该字符是. 并且是第一次检查出
					//小数点的下一位也是数字
					if (isDigit(ifs.get())) {
						isDouble = true;
						token.push_back(byte);		//将小数点存入token中
						ifs.seekg(-1, ios::cur);	//将超前读取的小数点后一位数字重新读取
						byte = ifs.get();
					}
				}
			}
			ifs.seekg(-1, ios::cur);
			if (isDouble) {
				code = TK_DOUBLE;   //单词为浮点型
			}
			else {
				code = TK_INT;      //单词为整型
			}

			//接下来判断该单词是否是一个错误的标识符（不能以数字开头）
			byte = ifs.get();
			if (!isDigit(byte) && byte != ' ' && byte != '\t'&& byte!=';'&& !other_flag) {
				code = TK_UNDEF;
				err = WI_WID;
			}
			else {
				ifs.seekg(-1, ios::cur);
			}
		}
		else {
			//最后一种情况是运算符和分界符
			switch (byte) {
			case '+':
			{
				byte = ifs.get();  //读取下一个字符
				if (byte == '+')
					code = TK_PPLUS;  // ++
				else if (byte == '=')
					code = TK_PEQ;    // +=
				else {
					code = TK_PLUS;   //+
					ifs.seekg(-1, ios::cur); //其他情况下需要重新读取下一个字符
				}
			}
			break;
			case '-':
			{
				byte = ifs.get(); //读取下一个字符
				if (byte == '=')
					code = TK_MEQ; // -=
				else if (byte == '-')
					code = TK_MMINUS; //--
				else {
					code = TK_MINUS; //-
					ifs.seekg(01, ios::cur);
				}
			}
			break;
			case '*': code = TK_MUL;
				break;
			case '/':
			{
				if (ifs.get() == '/') {
					while(ifs.get()!='\n'){
						;
					}
					ifs.seekg(-1, ios::cur);
					break;
				}
				else {
					code = TK_DIV;
					ifs.seekg(-1, ios::cur);
					break;
				}
			}
			case '=':
			{
				byte = ifs.get();  //读取下一个字符
				if (byte == '=') {  // ==
					code = TK_EQ;  // 判断是否相等符号
				}
				else {
					code = TK_ASSIGN;  //单词为=
					ifs.seekg(-1, ios::cur);  //回退一个字符
				}

			}
			break;
			case '<':
			{
				byte = ifs.get();   //读取下一个字符
				if (byte == '=') {  // 小于等于
					code = TK_LEQ;
				}
				else {
					code = TK_LT; //小于
					ifs.seekg(-1, ios::cur); //回退一个字符
				}
			}
			break;
			case '>':
			{
				byte = ifs.get();   //读取下一个字符
				if (byte == '=') {
					code = TK_GEQ;    //大于等于
				}
				else {
					code = TK_GT;  //大于
					ifs.seekg(-1, ios::cur);  //回退一个字符
				}
			}
			break;
			// 分界符
			case '(': code = TK_OPENPA;
				break;
			case ')': code = TK_CLOSEPA;
				break;
			case '{': code = TK_BEGIN;
				break;
			case '}': code = TK_END;
				break;
			case '[': code = TK_OPENBR;
				break;
			case ']': code = TK_CLOSEBR;
				break;
			case ',': code = TK_COMMA;
				break;
			case ';': code = TK_SEMOCLON;
				break;
			//未识别符号
			default: code = TK_UNDEF;
			}
		}
		printToken(code,cur);
	}
}
int main() {
	int keysArray_size = sizeof(keysArray) / sizeof(keysArray[0]);
	//初始化关键字集合 
	for (int i = 0; i < keysArray_size; i++) {
		keys.insert(keysArray[i]);
	}
	ifstream ifs;
	ifs.open("test.txt", ios::in);
	if (!ifs.is_open()) {
		cout << "文件打开失败" << endl;
		return 0;
	}
	lexicalAnalysis();
	return 0;
}
词法分析器 C++实现
qq_40240576的博客
10-22 784
#include&lt;bits/stdc++.h&gt; #include&lt;cstring&gt; using namespace std; //保留字表 static char reserve[32][20] = { "auto", "break", "case", "char", "const", "continue", &qu
C++实现词法分析器
05-17
1、该词法分析器要求至少能够识别以下几类单词： （1）关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写； （2）标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*； （3）常数：NUM=(+ | - |ε)digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123, -123, +123等；小数，如123.45, +123.45, -123.45；科学计数法表示的常数，如+1.23e3，-2.3e-9； （4）专用符号：+ - * / < >= == != = ; , ( ) [ ] { } /* */。 2、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。 3、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。
编译原理词法分析器和语法分析器的实现（C++）.zip
04-17
编译原理词法分析器和语法分析器的实现（C++） 编译原理中的词法分析器和语法分析器是编译器的重要组成部分，它们分别负责将源代码转换为词法单元和抽象语法树。以下是一个简化的项目介绍，描述了如何使用C++实现这两个分析器。 ### 项目介绍： **目标**：使用C++实现一个简单的编译器前端，包括词法分析器和语法分析器。 **主要任务**： 1. **词法分析器**： - 定义词法规则，包括关键字、标识符、常数、运算符和分隔符等。 - 使用有限自动机理论实现词法分析器，能够将源代码转换为词法单元序列。 - 处理词法错误，如非法字符或格式错误的数字。 2. **语法分析器**： - 定义语法规则，构建上下文无关文法（CFG）。 - 使用递归下降解析器或LL(1)解析器实现语法分析器，能够将词法单元序列转换为抽象语法树（AST）。 - 处理语法错误，如语法错误和类型错误。 **技术要求**： - 熟悉C++编程语言。 - 了解编译原理中的词法分析、语法分析概念。 - 熟悉有限自动机理论和抽象语法树。 **开发工具**： - C++编译器，如GCC、Clang。 - 代码编辑器或IDE，如Visual Studio、Code::Blocks或Eclipse。 ### 适合人员： - 计算机科学或相关领域的学生：此项目能够帮助他们实践编译原理和C++编程知识。 - 软件开发者：特别是那些对编译器和解释器如何工作感兴趣的程序员。 - 语言处理领域的研究者：此项目可以作为自然语言处理和编译技术的一个研究起点。 ### 额外建议： - 从一个简单的语言子集开始，逐步增加支持的语法和语义特性。 - 使用单元测试和集成测试来验证分析器的正确性。 - 编写详细的文档，记录设计决策、实现细节和测试结果。 - 考虑使用版本控制系统（如Git）来管理项目代码。 通过实现这样一个编译器前端，学生可以深入理解编译器的工作原理，提高C++编程技能，并为进一步学习编译原理和编程语言理论打下基础。此外，这个项目对于希望进入编译器设计、程序分析和代码生成等领域的人来说，是一个很好的实践机会。
标准纯C++实现简单的词法分析器(一)
专栏
03-29 2865
一、思路：   使用容器vector 来缓冲文件内容，以便增加效率，以前的总是用getline(FILE*, ...) 或者别的，总之，都要从磁盘不断读取，不断操作，效率肯定不高。 这个思路主要是受到《C++ Primer》3 的影响，其中有个文本操作，采用这种方式。  从文件中具体分离出一个个字符，当然也就简单的多了。    然后再使用状态机，来实现 标识符提取， 这种方式的优点是可
实现词法分析器（C++）
最新发布
weixin_64343068的博客
09-21 365
2.program为语法分析的程序，在语法分析器中得到有效单词，而单词需要通过词法分析实现，所以语法分析使用词法分析的返回值。1.采用文件形式输入代码，comp.cpp。3.词法分析器 Lexical.cpp。
C++实现词法分析器（学习）
往事撩人醉的博客
04-17 3376
参考网上程序，我把生成的数据存在文件里，能分析C语言的源程序 #include&lt;fstream&gt; #include &lt;iostream&gt; #include &lt;stdlib.h&gt; #include &lt;stdio.h&gt; using namespace std; string KEYWORD[17]={"if","else","
词法分析器（c++）
yizhizhazhahui的博客
11-27 6392
c++，编译原理实验，词法分析器
词法分析器（c++版）
11-03
词法分析器（c++版） 词法分析程序，能识别出所有的关键字、标识符、常数、运算符（包括复合运算符，如++）、界符；能过滤掉源程序中的注释、空格、制表符、换行符等等
c++实现词法分析器
03-24
c++ ，词法分析器， 编译原理， c语言的词法分析，代码详细，很易懂
编译原理 词法分析器 c++实现
12-05
参考附录C.1设计一个简单语言的词法分析程序，要求能够处理换行回车、注释（自定义注释格式）、部分符合运算符（如>= 、 等）。 注意： 附录C.1采用的是控制台输入输出的方式，测试数据要用文本文件保存好。
编译原理实验一 词法分析器 C++实现
07-20
编译原理实验一 词法分析器 C++实现
基于c++的词法分析器
11-17
基于c++的词法分析器。实现了识别保留字、标识符、常量、科学计数法、识别注释、负号的识别、标识符、分隔符、和大小括号的匹配(利用出入栈)
C++词法分析器(源代码)
10-09
自己写的实用的词法分析器 片段: #include <iostream.h> #include <iomanip.h> #include <string.h> #include <stdlib.h> const int MAX=30; const int MAXSIZE=80; char css[MAX][MAXSIZE];//存放产生式，并以'#'结束 int F[MAX][MAXSIZE];//二维数组表示FirstVT(P)表 int L[MAX][MAXSIZE];//二维数组表示LastVT(P)表 char strVN[MAX];//存放非终结符 char strVT[MAXSIZE];//存放终结符 int Priority_Table[MAX][MAX];//优先表 char Sentence[MAXSIZE];//用以存放用户从键盘上读入一个句子,最大长度不超过MAXSIZE个字符
C++词法分析器（C和C++实现）
11-09
简易版的词法分析器，老师布置的作业~~初学者也许可以稍微参考一番~~
C++词法分析器
03-20
这个压缩包是在下编译原理课程实验代码，用c++实现词法分析，并以窗体应用程序的形式显示出来。 实验内容及要求如下： （1）C++源代码扫描程序识别C++记号。 C++语言包含了几种类型的记号：标识符，关键字，数（包括整数、浮点数），字符串、注释、特殊符号（分界符）和运算符号等。 （2）打开一个C++源文件，打印出所有以上的记号。 （3）要求应用程序应为Windows界面。 （4）选作部分：为了提高C++源程序的可读性，C++程序在书写过程中加入了空行、空格、缩进、注释等。假设你想牺牲可读性，以节省磁盘空间，那么你可以存贮一个删除了所有不必要空格和注释的C++源程序的压缩文本。因此，程序中还应该有这样的压缩功能。 （5）选作部分：进一步思考或实现——如何进一步实现减小源文件大小的压缩功能。 （6）应该书写完善的软件文档。
C++版本的词法分析器
10-19
用c++实现词法分析器，并且含有对字符串和注释的处理和报错
C++实现词法分析器.zip
06-09
在这个C++实现的词法分析器中，"词法分析器C++.cpp"是源代码文件，实现了上述的词法分析功能；而"词法分析器C++.exe"是编译后的可执行文件，可以直接运行并处理输入的源代码文件；"test1.txt"则是用于测试词法分析器...
词法分析器 /c++实现
weixin_34080951的博客
06-28 154
#include<iostream> #include<string> #include<vector> #include<map> #include<cstdio> #include<cstring> #include<cstdlib> using namespace std; int line=1,ro...
简易词法分析器C++实现
05-15
词法分析器是编译器的第一个阶段，用于将源代码分解成单个的词语（Token）。以下是一个简单的C++实现： ```cpp #include #include #include using namespace std; // 定义Token类 class Token { public: ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值