编译原理——词法分析器的编写（改良版）

最新推荐文章于 2023-05-19 16:07:48 发布
最新推荐文章于 2023-05-19 16:07:48 发布
阅读量1.5k 收藏 17
点赞数 2
分类专栏： 编译原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44959377/article/details/103159612
版权
词法分析（英语：lexical analysis）：

是计算机科学中将字符序列转换为标记（token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（lexical analyzer，简称lexer），也叫扫描器（scanner）。词法分析器一般以函数的形式存在，供语法分析器调用。
（上文摘自维基百科）

分析：

我们知道，语法分析器是分析每个词的，既然这样的话，我们就要对每个词进行分析，然后识别保存，那么如何进行识别呢？

我们通常采用的是种别码，那什么是种别码呢？初学者可能会对这个概念比较模糊。其实种别码就是对每个词的定位，比如我们可以把数字这个词的种别码定义为10，把标识符的种别码定义为11等等。

代码实际讲解：
种别码

/保留字的种别码。从1开始到25
//出现过的标识符的种别码设为26
//未出现过的标识符种别码为52，将该标识符保存到标识符表中
//数字种别码设为27
// 等号种别码为28
// <= 种别码为29.
// <> 种别码为30。
// < 种别码为31
// >= 种别码为32
// > 种别码为33.
// + 种别码为34
// - 种别码为35
// * 种别码为36
// / 种别码 53
// ;种别码为38
// = 种别码为28
//1到51为正常的。空格为100， 换行符为101， #号为102，错误为404
//case ‘(’: syn = 39;
//case ‘)’: syn = 40;

上面这部分是我一部分字符的种别码，没有列出所有，其他种别码读者可以在代码中查询。

其中有一个需要注意一下的是，标识符的种别码分为两种，一种是之前出现过的，为26，一种是新出现的，为52。

我们设定以#为结束符。

关于代码可以看一下我上一篇关于词法分析器的文章，主要不一样是关于种别码的，也是跟语法分析器配合
源代码：
#include<stdio.h>
#include<conio.h>
#include<math.h>
#include<string.h>
#include<stdlib.h>

int  wordanalysis();


using namespace std;


//BEGIN
//
//
//a = 10;
//b = a + 10;
//e = a + b
//end#


//保留字的种别码。从1开始到25
//出现过的标识符的种别码设为26
//未出现过的标识符种别码为52，将该标识符保存到标识符表中
//数字种别码设为27
// 等号种别码为28
// <= 种别码为29.
// <> 种别码为30。
// < 种别码为31
// >= 种别码为32
// > 种别码为33.
// + 种别码为34
// - 种别码为35
// * 种别码为36
// / 种别码 53
// ;种别码为38
// = 种别码为28
//1到51为正常的。空格为100， 换行符为101， #号为102，错误为404
//case '(': syn = 39; 
//case ')': syn = 40; 

int i, row = 0, line = 0; //line用来保存标识符的个数。row来保存数字个数。i保存读到哪个字符了
char test[1000];  //这是读取文件的内容的。 
int number[100];	//常数表,有个疑问，数字需要常数来保存吗？
char mark[100][5];   //用来存放标识符的。
int count = 1; //记录出错的行号 
int syn;
int wu;
int final_flag = 0;
//关键字：
char pro[100][100] = { "PROGRAM", "BEGIN", "END", "VAR", "INTEGER", "WHILE",
"IF", "THEN", "ELSE", "DO", "PROCEDURE" ,"char",
"int","if","else","var" ,"return","break",
"do","while","for","double","float","short", "main" };
//关键字：从1开始到25.

//过滤,但是一般时候这样做的效率是非常低的。 
void guolv() {
	char temp[1000];
	int flag = 0;
	int j = 0;
	while (test[flag] != '#') {
		//单行注释// 
		if (test[flag] == '/' && test[flag + 1] == '/') {
			while (test[flag] != '\n') {
				flag++;
			}
		}
		else if (test[flag] == '/' && test[flag + 1] == '*') {
			//多行注释/**/ 
			flag = flag + 2;
			while (test[flag] != '*' && test[flag + 1] != '/') {
				flag++;
			}
			flag = flag + 2;
		}
		temp[j] = test[flag];
		flag++;
		j++;
	}
	temp[j] = '#';
	strcpy(test, temp);
}

//词法分析
int wordanalysis()
{
	//标识符和保留字
	//当第一个字符是字母的时候
	if ((test[i] >= 'A'&&test[i] <= 'Z') || (test[i] >= 'a'&&test[i] <= 'z'))
	{
		char word[10];
		//保留字的种别码。从1开始到25

		int n = 0;
		word[n++] = test[i++];
		while ((test[i] >= 'A'&&test[i] <= 'Z') || (test[i] >= '0' && test[i] <= '9') || (test[i] >= 'a'&&test[i] <= 'z'))
		{
			word[n++] = test[i++];
		}
		word[n] = '\0';
		i--;

		//判断该标识符是否为保留字
		for (n = 0; n < 100; n++)
		{
			if (strcmp(word, pro[n]) == 0)
			{
				syn = n + 1;
				printf(">> %s\t(%d,-) 保留字\n", pro[n], syn);
				return syn;
			}
		}

		//不是关键字的话，判断该标识符是否在标识符表中
		int m = 0;
		if (line != 0)
		{
			int q = 0;
			while (q<line)
			{
				if (strcmp(word, mark[q++]) == 0)
				{
					syn = 26; //出现过的标识符的种别码设为26
					printf(">> %s\t(%d,%d) 标识符\n", word, syn, q);
					return syn;
				}
			}

		}
		//未出现过的标识符种别码为52，将该标识符保存到标识符表中
		strcpy(mark[line], word);
		syn = 52;
		printf(">> %s\t(%d, %d) 标识符\n", word, syn, line + 1);
		line++;
		return syn;

	}
	//数字 
	else if (test[i] >= '0' && test[i] <= '9')
	{
		char x[100];
		int n = 0;
		x[n++] = test[i++];

		while (test[i] >= '0' && test[i] <= '9')
		{
			x[n++] = test[i++];
		}
		x[n] = '\0';
		i--;
		int num = atoi(x); //将字符串转换成int型

						   //判断该常数是否存在于常数表中
		if (row != 0)
		{

			for (int y = 0; y<row; y++)
			{
				if (number[y] == num)
				{
					syn = 27; //数字种别码设为27
					printf(">> %d\t(%d,%d)\n", num, syn, y + 1);
					return syn;
				}
			}
		}

		//将该常数保存到标识符表中
		number[row] = num;
		int line = row;
		syn = 27;
		printf(">> %d\t(%d,%d)\n", num, syn, line + 1);
		row++;
		return syn;
	}

	//各种符号
	else {
		switch (test[i])
		{
		case '=': syn = 28; // 等号种别码为28
			printf(">> =\t(%d,-)\n", syn); return syn;
		case '<':
			i++;
			if (test[i] == '=')
			{
				syn = 29; // <= 种别码为29.
				printf(">> <= \t(%d,-)\n", syn);
				return syn;
			}
			else if (test[i] == '>')
			{
				syn = 30; // <> 种别码为30。
				printf(">> <>\t(%d,-)\n", syn);
				return syn;
			}
			else
			{
				i--;
				syn = 31; // < 种别码为31
				printf(">> <\t(%d,-)\n", syn);
				return syn;
			}
		case '>':
			i++;
			if (test[i] == '=')
			{
				syn = 32; // >= 种别码为32
				printf(">> >=\t(%d,-)\n", syn);
				return syn;
			}
			else
			{
				i--;
				syn = 33; // > 种别码为33.
				printf(">> >\t(%d,-)\n", syn);
				return syn;
			}
		case '+': syn = 34; printf(">> +\t(%d,-)\n", syn); return syn; // + 种别码为34
		case '-': syn = 35;  printf(">> -\t(%d,-)\n", syn); return syn; // - 种别码为35
		case '*': syn = 36;  printf(">> *\t(%d,-)\n", syn); return syn; // * 种别码为36
		case '/': syn = 53; printf(">> *\t(%d, -)\n", syn); return syn; // /的种别码为53 
		case ':': syn = 37; printf(">> :\t(%d,-)\n", syn); return syn;
		case ';': syn = 38; printf(">> ;\t(%d,-)\n", syn); return syn;
		case '(': syn = 39; printf(">> (\t(%d,-)\n", syn); return syn;
		case ')': syn = 40; printf(">> )\t(%d,-)\n", syn); return syn;
		case '{': syn = 41; printf(">> {\t(%d,-)\n", syn); return syn;
		case '}': syn = 42; printf(">> }\t(%d,-)\n", syn); return syn;
		case '[': syn = 43; printf(">> [\t(%d,-)\n", syn); return syn;
		case ']': syn = 44; printf(">> ]\t(%d,-)\n", syn); return syn;
		case '|': syn = 45; printf(">> |\t(%d,-)\n", syn); return syn;
		case '"': syn = 46; printf(">> \"\t(%d,-)\n", syn); return syn;
		case ',': syn = 47; printf(">> ,\t(%d,-)\n", syn); return syn;
		case '\'': syn = 48; printf(">> '\t(%d,-)\n", syn); return syn;//单引号
		case '&':
			i++;
			if (test[i] != '&') {
				i--;
				// & 种别码为 49；
				syn = 49;
				printf(">> &\t(%d,-)\n", syn); return syn;
			}
			//&&种别码为50
			syn = 50;
			printf(">> &&\t(%d,-)\n", syn); return syn;
			// \ 种别码为51
		case '\\': syn = 51; printf(">> \\\t(%d,-)\n", syn); return syn;

		case ' ':
			syn = 100; // 空格种别码为28
			return syn;
		case '\n':count++;
			syn = 101; // 换行符种别码为29
			return syn;
		case '#': syn = 102; //结束符#种别码为30. 
			return syn;
		default:
			syn = 404; //错误的种别码为404
			printf(">> %c error in %d row\n", test[i], count);
			return syn;
		}
	}

}

int main()
{

	int c = 0;
	int m;
	i = 0;
	//读取文件
	FILE *fp;
	fp = fopen("D:\\yes.txt", "r");
	if (fp == NULL)
	{
		printf("can't open file!\n");
		exit(0);
	}
	//把文件内容读取到test数组中
	while (!feof(fp))
	{
		test[c++] = fgetc(fp);
	}
	test[c] = '#';
	while (test[i] != '#') {
		printf("%c", test[i]);
		i++;
	}
	printf("\n");
	printf("------------过滤后的-------------\n");
	guolv();
	i = 0;
	while (test[i] != '#') {
		printf("%c", test[i]);
		i++;
	}
	printf("\n");
	printf("输出文法分析后的：\n");
	//1到51为正常的。空格为100， 换行符为101， #号为102，错误为404
	i = 0;
	while(1){
		int is = wordanalysis();
		if(is == 102){
			break;
		}
		else{
			i++;
		}
	}
	return 0;
}
运行结果：
BEGIN
a = 10;
//fad a = b + c;
b = a + 10;
e = a + b;
d = (a + b) + e;
d = (a + b)
END
------------过滤后的-------------
BEGIN
a = 10;

b = a + 10;
e = a + b;
d = (a + b) + e;
d = (a + b)
END
输出文法分析后的：
>> BEGIN        (2,-) 保留字
>> a    (52, 1) 标识符
>> =    (28,-)
>> 10   (27,1)
>> ;    (38,-)
>> b    (52, 2) 标识符
>> =    (28,-)
>> a    (26,1) 标识符
>> +    (34,-)
>> 10   (27,1)
>> ;    (38,-)
>> e    (52, 3) 标识符
>> =    (28,-)
>> a    (26,1) 标识符
>> +    (34,-)
>> b    (26,2) 标识符
>> ;    (38,-)
>> d    (52, 4) 标识符
>> =    (28,-)
>> (    (39,-)
>> a    (26,1) 标识符
>> +    (34,-)
>> b    (26,2) 标识符
>> )    (40,-)
>> +    (34,-)
>> e    (26,3) 标识符
>> ;    (38,-)
>> d    (26,4) 标识符
>> =    (28,-)
>> (    (39,-)
>> a    (26,1) 标识符
>> +    (34,-)
>> b    (26,2) 标识符
>> )    (40,-)
>> END  (3,-) 保留字
coding_zhan
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
编译原理笔记-01绪论
笔记|思路|总结
03-19 1173
什么是编译 编译就是将高级语言翻译成汇编语言或机器语言的过程。 高级语言也叫源语言，汇编或机器语言叫目标语言 编译系统的结构 词法分析概述 词法分析就是从左向右逐行扫描源程序的字符，识别出各个单词，确定单词的类型。将识别出的单词转换成统一的机内表示——词法单元(token)形式 token：<种别码，属性值> 种别码：表示单词的种别，对应自然语言中的词性。 属性值：由于标识符和常量不可能事先全部枚举，所以使用属性值来区别标识符和常量值。 每个关键字都有一个种别码，所以叫一词一码
编译原理―词法分析器（Java）
natural_live的博客
04-14 6930
这里主要记一下学习的过程。 开始写的时候，我理解的词法分析，就是分析字符串嘛。所以只是写了对字符串的分析。 具体就是我们都知道，如果是分析一段代码的话，代码里会有空格，括号，算术符号，数字，还有所谓的关键字。所以我是将字母定义为状态1，数字为状态2，空格或者是换行符定义为状态3，其它为状态4。我们先把关键字，算术符号等穷举出来存入到字符数组中，接下来举例分析一下工作的流程。，比
编译原理的基本认知
sjsja的博客
05-20 538
编译原理 初识 编译：将高级语言翻译成汇编语言或者机器语言的过程 汇编：是把汇编语言翻译为机器语言 我们无时无刻不和编译器打着交道，不论是什么ide编写代码都会经过编译这一环节 预处理器：当用高级语言编写代码的时候，可能分为了很多的不同的模块，而预处理器在处理用高级语言编写的源程序的时候，会将存储在不同文件的不同模块的源程序汇聚到一起，将被称为‘宏’的缩写语句转换为原始语句 可重定位：在内存中的存放的起始位置L不是固定的（没有意义需要加载到合适的位置赋予意义就是一段码）起始位置+相对地址=绝对地址，
《编译原理》完整笔记
修行的凡人的博客
05-19 1493
《编译原理》完整笔记
（C++）带你手肝词法分析器，容易理解，跟着思路有手就行
Gassing仔的博客
11-25 2万+
词法分析器一.前言二.什么是“词法分析器”？三.正式设计1.设计种别码表2.设置判断为字母或数字的函数3.设置全局参数4.核心：scan()函数5.主函数里结合scan函数进行循环扫描6.结果截图7.需要注意（比较难）的地方四.心得体会五.源代码 一.前言 编译原理的第一个实验：设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 如果你有点思路但码力不足，可以跟着我一步步来手肝！ 二.什么是“词法分析器”？ 词法分析程序简单来说就是“读单词程序”， 该程序扫描高级语言编写的源程序，将源程序中由“单
编译原理-语法分析（自底向上）
qq_41956860的博客
11-20 2715
L3 1. Explanation of Nouns CFG： Context-free grammar，上下文无关文法
编译原理——词法分析小结
qq_41731283的博客
11-19 867
词法分析器的功能时输入源程序，输出单词符号。 单词符号包括（1）关键字（2）标识符（3）常数（4）运算符（5）界符 输出的单词符号常常表示为： （单词种别，单词符号的属性值） 单词种别：通常用整数编码 单词符号属性值：指单词符号的特征 预处理 一般是用来删除不必要的字符（如空字符、换行符等） 字符识别 这里提到了一种最常用的方式叫做超前搜索 要进行有效的词法分析，就需要借助好的工具，状态转换图就是...
编译原理实验1——词法分析器设计
07-08
通过阅读和理解这些代码，你可以深入了解词法分析器的工作原理，并动手实践来提升你的编译原理知识。 总之，词法分析器是编译器的关键组件，它的设计直接影响到编译器的效率和错误检测能力。通过这个实验，你可以...
编译原理——词法分析器
12-21
词法分析是编译原理中的一个重要环节，它是编译器前端的第一步，主要负责将源代码分解成一个个有意义的符号，这些符号被称为“记号”（Token）。在类C语言中，记号主要包括关键字、标识符、常量、运算符、分隔符等。...
编译原理——词法分析器设计与实现
04-30
总的来说，这个项目提供了一个实际操作的词法分析器实现，对于学习编译原理和语言处理的开发者来说，是一个宝贵的实践资源。通过深入研究和修改这个项目，可以更深入地理解编译器的工作原理，以及如何针对不同编程...
编译原理实验词法分析器
01-02
编译原理实验词法分析器 本实验的目的是设计和实现一个词法分析器，以加深对词法分析过程的理解，并掌握词法分析方法。实验中，我们将使用 C 语言实现一个简单的词法分析器，能够识别和分析 C 语言源程序中的单词...
编译原理——词法分析器（完整版）
12-02
编译原理实验——词法分析器，已完全实现词法分析的各种功能，欢迎下载分享！
编译原理：简单词法分析器的设计与实现
Believer_YU的博客
07-13 9849
编译原理实验，实现简单的词法分析器，对简单c语言程序进行词法分析
符号与种别码对照表9.30
weixin_30421525的博客
09-30 648
转载于:https://www.cnblogs.com/qq157049540/p/5924486.html
（编译原理）java实现词法分析器
热门推荐
灰羽
10-30 3万+
1、闲话最近在学编译原理，需要用语言实现一个词法分析器，其实挺简单的，主要涉及一些语言字符串操作处理，如果会正则表达式的话，感觉实现这个会很简单，但是我并不会啊，然后自己用java实现了，也算是加强了对java的一些字符操作方法的使用。实现这个分析器，算法上基本上没什么难度，但是其中涉及的一些逻辑上的思考，说白了就是这么多种情况，有写情况还有交叉部分，你怎么让自己不绕进去，并且用代码实现自己的对这个
C-语言词法分析器与语法分析器（一）
IuSpet的博客
05-27 1万+
说明： 为实践《编译原理》中的相关知识，认真完成了课程设计，实现了C-语言的词法分析器与语法分析器 C-语言是C语言的一个子集，语法包括： 整型变量与函数的声明 if else 分支语句 while 循环语句 本篇介绍词法分析器的实现 流程： 写出该语言的词法规则与正则表达式 构造DFA 代码实现 该语言词法规则与正则表达式 1.保留字 int void if ...
词法分析器与正则表达式
weixin_34266504的博客
08-08 470
在设计SIEM的时候，一个很重要的环节就是日志的标准化（Normalization，或者叫范式化）。而对此一般采用的手法是采用基于正则表达式的字符串匹配。这次，介绍另外一种方式：不依赖于正则表达式的词法分析器（Antlr）。当然，有的词法分析器依然是基于正则表达式的。 正则表达式被认为是文本处理的首选工具，当我们使用正则表示式时，首先定义一个正则表达式，然后和预期文本进行匹配，最终再按照正则表示...
编译原理-词法分析 之 正则表达式、NFA与DFA
qq_41810184的博客
07-20 1871
1.正则表达式：正则表达式是一种更紧凑的正则文法，正则表达式、正则文法、NFA、DFA他们存在一一对应关系 2.什么是DFA：DFA有如下几个部分构成，初始状态、终态、输入字母表（可以理解成合法的输入）、状态集、以及状态转换表（状态集与合法输入笛卡尔积而成，每一个状态接收到一个合法的输入后都会得到一个唯一确定的状态）。 什么是NFA：基本与DFA相同，不同点是，NFA的状态转换规则，一个状态接收...
语法分析——自顶向下分析方法
weixin_44959377的博客
11-10 6283
前文概述： 前阵子弄完词法分析后，这一周开始语法分析的课程。 语法分析：在计算机科学和语言学中，语法分析（英语：syntactic analysis，也叫 parsing）是根据某种给定的形式文法对由单词序列（如英语单词序列）构成的输入文本进行分析并确定其语法结构的一种过程。 （摘自维基百科） 其实学习语法分析，并不是一上来就看其算法应该怎么做，而是需要一些概念进行铺垫。 语法分析方式： 语法分析...
编译原理————词法分析器
最新发布
11-26
编译原理是计算机科学中的一个重要分支，它研究如何将高级语言编写的程序转换成计算机能够执行的机器语言程序。其中，词法分析器是编译器中的一个重要组成部分，它负责将源代码中的字符序列转换成有意义的单词序列，也就是词法单元。 词法分析器通常采用有限状态自动机（Finite State Automaton，FSA）来实现。它将源代码作为输入，逐个字符地读入并进行状态转移，直到识别出一个完整的词法单元。在这个过程中，词法分析器会忽略空格、注释等无关字符，并将识别出的词法单元传递给语法分析器进行下一步处理。 词法分析器的主要任务包括：定义词法单元的类型和模式、实现有限状态自动机、处理错误和异常情况等。在实际编译器中，词法分析器通常由生成器自动生成，开发者只需要定义好词法单元的类型和模式即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值