C++词法分析器

最新推荐文章于 2023-03-03 21:52:13 发布
最新推荐文章于 2023-03-03 21:52:13 发布
阅读量2k 收藏 23
点赞数 1
分类专栏： 编译原理 文章标签： c++ c语言 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46130146/article/details/121351019
版权
"这段代码展示了一个简单的C++词法分析器的实现，能够识别关键字、标识符、数值、运算符和分界符。它从文件"data.txt"读取输入，对输入的C++代码进行词法分析，并打印出相应的词法单元及其类型。"
摘要由CSDN通过智能技术生成

首先分析

请添加图片描述

#include <iostream>
#include <cstdio>
#include <cstring>
#include <cstdlib>
#define _KEY_WORDEND "waiting for your expanding"
using namespace std;
typedef struct //词的结构，二元组形式（单词种别，单词自身的值）
{
	int typenum; //单词种别
	char * word;
}WORD;
char input[255];
char token[255] = "";
int p_input; //0
int p_token; //0
char ch; //用于读取输入的字符
char *rwtab[] = {
    "if",
    "while",
    "int",
    "main",
    "else",
    "float",
    "double",
    "return",
    "cout"
}; //记录已有的关键字，用来将标识符和关键字进行区分。

WORD *scanner();//扫描

int main() {
	int over = 1;
	WORD* oneword = new WORD;

	//实现从文件读取代码段
	cout << "read something from data.txt" << endl;
	FILE *fp;
	// printf("%d", p_token);
	if((fp=freopen("data.txt","r",stdin))==NULL) {//从文件data.txt文件中读输入的数据。并且将文件data.txt文件中的内容重定向到输入中。

                printf("Not found file!\n"); //如果没有找到文件就输出提示。文件存在内容为空的时候并不会报错。
                return 0;
        }
        else {
            while ((scanf("%[^#]s", &input)) != EOF) {//当遇到的输入符号为#的时候就结束。

                p_input = 0;
                printf("your words:\n%s\n", input);
                while (over != -1) {//over==-1证明出现错误，语法分析器到此结束，不做错误处理。

                    oneword = scanner();
                    if(oneword->typenum != 999 && oneword->typenum < 1000) {
                        if(oneword->typenum == 10)
                            cout << "[  "<< "标识符" <<"\t,"<< oneword->word <<"  ]"<< endl;
                        else if(oneword->typenum == 20)
                            cout << "[  " << "数值 " <<"\t,"<< oneword->word <<"  ]"<< endl;
                        else if(oneword->typenum >= 1 && oneword->typenum <= 9)
                            cout << "[  " << "关键字" <<"\t,"<< oneword->word <<"  ]"<< endl;
                        else if(oneword->typenum >= 21 && oneword->typenum <= 25 || oneword->typenum >= 35 && oneword->typenum <= 38)
                            cout << "[  " << "运算符" <<"\t,"<< oneword->word <<"  ]"<< endl;
                        else if(oneword->typenum >= 26 && oneword->typenum <= 34 || oneword->typenum >= 35 && oneword->typenum <= 38)
                            cout << "[  " << "分界符" <<"\t,"<< oneword->word <<"  ]"<< endl;
                    }
                    over = oneword->typenum; //用over来记录当前的token序列的种别码type
                }
                scanf("%[^#]s", input);
            }
        }
    return 0;
}

//从输入缓冲区读取一个字符到ch中
char m_getch() {
	ch = input[p_input];
	p_input++;
	return ch;
}

//去掉空白符号
void getbc() {
	while (ch == ' ' || ch == 10 || ch == 9) {//ch==10对应的是换行键，ch==9对应的是tab键。

		ch = input[p_input];
		p_input++;
	}
}

//拼接单词
void concat() {
	token[p_token] = ch;
	p_token++;
	token[p_token] = '\0';
}

//判断是否字母
int letter() {
	if (ch >= 'a'&&ch <= 'z' || ch >= 'A'&&ch <= 'Z')
		return 1;
	else
		return 0;
}

//判断是否数字
int digit() {
	if (ch >= '0'&&ch <= '9')
		return 1;
	else
		return 0;
}

//检索关键字表格
int reserve() {
	int i = 0;
	while(strcmp(rwtab[i], "cout")) {//遍历rwtab关键字表格

		if (!strcmp(rwtab[i], token))
			return i + 1;
		i++;
	}
	return 10;//如果不是关键字，则返回种别码10
}

//回退一个字符
void retract() {
	p_input--;
}

//词法扫描程序，返回值是一个WORD数据结构
WORD * scanner(){

	WORD * myword = new WORD;
	myword->typenum = 10;  //初始值
	myword->word = "";
	p_token = 0;   //单词缓冲区指针，用于寻找该token序列。
	m_getch(); //ch是一个全局变量，不需要使用ch=m_getch()函数。
	getbc();//去掉空白

	if (letter()){//判断读取到的首字母是字母

	        //如int
		while (letter() || digit()) {
			concat(); //连接
			m_getch();
		}
		retract(); //回退一个字符
		myword->typenum = reserve();//判断是否为关键字，返回种别码
		myword->word = token;
		return myword;
	}
	else if (digit())  {//判断读取到的单词首字符是数字
		while (digit()) {//所有数字连接起来
			concat();
			m_getch();
		}
		retract();//回退一个字符，必须要有回退的操作，应为在这儿已经读到了下一个的字符的。
		//数字单词种别码统一为20，单词自身的值为数字本身
		myword->typenum = 20;
		myword->word = token;
		return(myword);
	}
	else switch (ch) {// 运算符的识别
        case '=':
            m_getch();//首字符为=,再读取下一个字符判断
            if (ch == '=') {// 如果下一个也是=，就是==符号，若不是，就要有回退
                myword->typenum = 39;
                myword->word = "==";
                return(myword);
            }
            retract();//读取到的下个字符不是=，则要回退，直接输出=
            myword->typenum = 21;
            myword->word = "=";
            return(myword);
            break;
        case '+': // 不考虑+=，-=，/=，*=等麻烦操作，只考虑+，-，*，/
            myword->typenum = 22;
            myword->word = "+";
            return(myword);
            break;
        case '-':
            myword->typenum = 23;
            myword->word = "-";
            return(myword);
            break;
        case '/'://读取到该符号之后，要判断下一个字符是什么符号，判断是否为注释
                    m_getch();//首字符为/,再读取下一个字符判断
            if (ch == '*') {// 说明读取到的是注释

                    m_getch();

                while(ch != '*') {
                    m_getch();//注释没结束之前一直读取注释，但不输出
                    if(ch == '*') {
                        m_getch();
                        if(ch == '/') {//注释结束
                            myword->typenum = 999;
                            myword->word = "注释";
                            return (myword);
                            break;
                        }
                    }
                }
            }
            else {
                retract();//读取到的下个字符不是*，即不是注释，则要回退，直接输出/
                myword->typenum = 24;
                myword->word = "/";
                return (myword);
                break;
            }
        case '*':
            myword->typenum = 25;
            myword->word = "*";
            return(myword);
            break;
        case '(':
            myword->typenum = 26;
            myword->word = "(";
            return(myword);
            break;
        case ')':
            myword->typenum = 27;
            myword->word = ")";
            return(myword);
            break;
        case '[':
            myword->typenum = 28;
            myword->word = "[";
            return(myword);
            break;
        case ']':
            myword->typenum = 29;
            myword->word = "]";
            return(myword);
            break;
        case '{':
            myword->typenum = 30;
            myword->word = "{";
            return(myword);
            break;
        case '}':
            myword->typenum = 31;
            myword->word = "}";
            return(myword);
            break;
        case ',':
            myword->typenum = 32;
            myword->word = ",";
            return(myword);
            break;
        case ':':
            m_getch();
            if (ch == '=') {
                myword->typenum = 18;
                myword->word = ":=";
                return(myword);
                break;
            }
            else {
                retract();
                myword->typenum = 33;
                myword->word = ":";
                return(myword);
                break;
            }
        case ';':
            myword->typenum = 34;
            myword->word = ";";
            return(myword);
            break;
        case '>':
            m_getch();
            if (ch == '=') {
                myword->typenum = 35;
                myword->word = ">=";
                return(myword);
                break;
            }
            retract();
            myword->typenum = 36;
            myword->word = ">";
            return(myword);
            break;
        case '<':
            m_getch();
            if (ch == '=') {
                myword->typenum = 37;
                myword->word = "<=";
                return(myword);
                break;
            }
            else {
                retract();
                myword->typenum = 38;
                myword->word = "<";
                return (myword);
            }
        case '!':
            m_getch();
            if (ch == '=') {
                myword->typenum = 40;
                myword->word = "!=";
                return(myword);
                break;
            }
            retract();
            myword->typenum = -1;
            myword->word = "ERROR";
            return(myword);
            break;
        case ' " ':
            myword->typenum = 41;
            myword->word = " \" ";
            return(myword);
            break;
        case '\0':
            myword->typenum = 1000;
            myword->word = "OVER";
            return(myword);
            break;
        case '#':
            myword->typenum = 0;
            myword->word = "#";
            return (myword);
            break;
        default:
            myword->typenum = -1;
            myword->word = "ERROR";
            return(myword);
            break;
        }
}


/*
data.txt文件夹下的内容


int main() {
	int a = 15;
	int b = 12;
	int c;
	c = a + b;
	return 0;
}

*/


/*

输出内容：

read something from data.txt
your words:
int main() {
        int a = 15;
        int b = 12;
        int c;
        c = a + b;
        return 0;
}
[  关键字       ,int  ]
[  关键字       ,main  ]
[  分界符       ,(  ]
[  分界符       ,)  ]
[  分界符       ,{  ]
[  关键字       ,int  ]
[  标识符       ,a  ]
[  运算符       ,=  ]
[  数值         ,15  ]
[  分界符       ,;  ]
[  关键字       ,int  ]
[  标识符       ,b  ]
[  运算符       ,=  ]
[  数值         ,12  ]
[  分界符       ,;  ]
[  关键字       ,int  ]
[  标识符       ,c  ]
[  分界符       ,;  ]
[  标识符       ,c  ]
[  运算符       ,=  ]
[  标识符       ,a  ]
[  运算符       ,+  ]
[  标识符       ,b  ]
[  分界符       ,;  ]
[  关键字       ,return  ]
[  数值         ,0  ]
[  分界符       ,;  ]
[  分界符       ,}  ]
*/
12十二12
关注
  • 1
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于c++的词法分析器
11-17
基于c++的词法分析器。实现了识别保留字、标识符、常量、科学计数法、识别注释、负号的识别、标识符、分隔符、和大小括号的匹配(利用出入栈)
C++ 的词法分析
天道酬勤
11-04 5093
C++ 的词法分析词法分析是指原文件被分解为词法符号的过程，通常是整个编译过程的第一步。虽然通常认为了解 C++ 的词法分析过程对于大多数一辈子都不会编写 C++ 编译器的程序员来说意义不大，但这篇文章不仅仅是为了满足某些人的好奇心而写的，因为我觉得任意一个严谨的 C++ 程序员都应该对 C++ 的词法分析有所了解，以避免一些偶然情况下会发生的错误（我们花了若干年去熟悉 C++
词法分析器（c++版）
11-03
词法分析器（c++版） 词法分析程序，能识别出所有的关键字、标识符、常数、运算符（包括复合运算符，如++）、界符；能过滤掉源程序中的注释、空格、制表符、换行符等等
c++实现词法分析器
03-24
c++ ，词法分析器， 编译原理， c语言的词法分析，代码详细，很易懂
词法分析器（c++）
yizhizhazhahui的博客
11-27 6261
c++，编译原理实验，词法分析器
c++词法分析器
05-08
个人实现的c++词法分析器，为了便于大家交流学习，共同进步。
基于C++词法分析器.zip
最新发布
04-17
在这个“基于C++词法分析器”的项目中，我们将探讨如何使用C++语言来实现这个过程。C++是一种强大且灵活的编程语言，适合构建复杂的编译器组件。 词法分析器，又称为扫描器或 tokenizer，它的主要任务是从源代码中...
c++ 词法分析器-编译原理实验
10-13
从词法分析器实验的目的，原理以及代码，结果，总结来完成实验，建立数组完成并对元素进行分析。
C++实现词法分析器.zip
06-09
在这个名为"C++实现词法分析器"的实验中，我们将深入理解词法分析的原理，并学习如何使用C++来构建一个词法分析器。 词法分析的目的是将源代码文本转换为一系列的标记，这些标记通常包括关键字、标识符、常量、...
一个C++编写的简单的词法分析器
06-06
一个C++编写的词法分析器。如果你真的想学好编译原理请好好读一下这本书： Alfred V.Aho和Jeffrey D.Ullman合著的Principles,Techniques and Tools第二版。
C++实现词法分析器
05-17
1、该词法分析器要求至少能够识别以下几类单词： （1）关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写； （2）标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*； （3）常数：NUM=(+ | - |ε)digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123, -123, +123等；小数，如123.45, +123.45, -123.45；科学计数法表示的常数，如+1.23e3，-2.3e-9； （4）专用符号：+ - * / < >= == != = ; , ( ) [ ] { } /* */。 2、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。 3、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。
C++词法分析器(源代码)
10-09
自己写的实用的词法分析器 片段: #include <iostream.h> #include <iomanip.h> #include <string.h> #include <stdlib.h> const int MAX=30; const int MAXSIZE=80; char css[MAX][MAXSIZE];//存放产生式，并以'#'结束 int F[MAX][MAXSIZE];//二维数组表示FirstVT(P)表 int L[MAX][MAXSIZE];//二维数组表示LastVT(P)表 char strVN[MAX];//存放非终结符 char strVT[MAXSIZE];//存放终结符 int Priority_Table[MAX][MAX];//优先表 char Sentence[MAXSIZE];//用以存放用户从键盘上读入一个句子,最大长度不超过MAXSIZE个字符
C++版本的词法分析器
10-19
用c++实现词法分析器，并且含有对字符串和注释的处理和报错
C++词法分析器（C和C++实现）
11-09
简易版的词法分析器，老师布置的作业~~初学者也许可以稍微参考一番~~
词法分析器C++实现
hjy9494的博客
03-03 1244
编译原理词法分析器
C++简单词法分析器
HecarimKing的博客
10-27 622
C++简单词法分析器 注：需在txt文件中以’#'键结尾。代码已在vs2019中运行成功。 #include <iostream> #include <fstream> #include <cstring> using namespace std; #define max 1000 char ch;//用于取单个字符 char token[max][100];//存放字符 int ptoken = 0; //关键字 const char* pkeyword[] = {
基于C++的词法分析器
qq_41406816的博客
11-17 870
实验目的 通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词(token)，即基本保留字、标识符、常量、运算符、分隔符五大类，并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） ...
Java实现的C++词法分析器
"该资源是一个基于Java语言实现的C++词法分析编译器，目前完成的是词法分析阶段。该编译器旨在对C++源代码进行初步解析，识别出单词符号，如保留字、运算符、标识符和常量等。实验目标包括构建词法规则，设计状态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值