基于C语言的词法分析器

已于 2024-04-28 19:34:03 修改
阅读量272 收藏 5
点赞数 7
分类专栏： 编译原理 文章标签： 编译原理
于 2024-04-28 19:33:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2302_77978695/article/details/138288737
版权

一．实验题目

设计基于C语言的词法分析器

二．实验目的

通过设计编制调试 C 语言的词法分析程序，加
深对词法分析原理的理解。并掌握在对程序设计语言源程
序进行扫描过程中将其分解为各类单词的词法分析方法。
编制一个读单词过程，从输入的源程序中，识别出各个具
有独立意义的单词，即基本字、标识符、常数、运算符、
分隔符五大类。并依次输出各个单词的内部编码及单词符
号自身值.

三:程序代码


#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include <string>
#include <iostream>
//#include<iostream.h>
using namespace std;
string keywords[20] = { "include","void","main","int",
					"char","float","double","if",
					"else","then","break","continue",
					"for","do","while","printf","scanf",
					"begin","end","return" };
char rz[99999] = " ";
string id[10000];
int pp = 0;
string nu[10000];
int qq = 0;
int isLetter(char a) //判断是否是字母
{
	if ((a >= 'a' && a <= 'z')||(a >= 'A'&& a <= 'Z')) {
		return 1;
	}
	return 0;
}
int isDigit(char a) //判断是否是数字
{
	if (a <= '9' && a >= '0') {
		return 1;
	}
	return 0;
}
int alpha(int st) //识别保留字和标识符，给此函数的的语句加上注释
{
	char wordbuf[20] = " ";//定义一个数组wordbuf，用来接收rz中的字符
	int n = 0;//用n来记录wordbuf的数组下标
	for (;;)//用for循环，循环下列语句
	{
		wordbuf[n] = rz[st];//将rz数组中的元素录入wordbuf中
		st++;//数组下标进行移动
		n++;//数组下标进行移动
		if ((isDigit(rz[st]) == 1) || (isLetter(rz[st]) == 1) || (rz[st] == '_'))
//判断是字母，数字还是_
			wordbuf[n] = rz[st];//将数字，字母或'_'录入wordbuf中
		else
			break;//否则跳出循环
	}
	int flag = 0;//定义一个flag变量
	for (int k = 0; k < 20; k++)//循环下列语句
	{
		if (strcmp(keywords[k].c_str(), wordbuf) == 0)//判断是否为关键字
			flag = 1;//若是关键字flag被赋为1
	}
	if (flag == 0)//判断flag是否为0，等于0执行下列语句
	{
		int flagg = -1;//定义变量flagg，并赋值为-1
		for (int t = 0; t < pp; t++)//循环下列语句
		{
			if (strcmp(id[t].c_str(), wordbuf) == 0)//判断字母是否相等
			{
				flagg = t;//相等的话把t赋给flagg
			}
		}
		if (flagg != -1)//判断flagg的值是否不等于-1
			printf(" (id,%d) ", flagg);//若不等于-1打印flagg的值
		Else//flagg == -1
		{
			id[pp] = wordbuf;//将wordbuf数组元素赋给id数组
			printf(" (id,%d) ", pp);//打印pp当前的值
			pp++;//pp自增
		}
	}
	Else//flag不等于0
	{
		printf(" (");//打印 (
		for (int i = 0; i < n; i++)//循环打印wordbuf数组中的字符
		{
			printf("%c", wordbuf[i]);
		}
		printf(",-) ");//循环结束打印 -)
	}
		return st;//返回st当前的值
}
int number(int st) //识别整数
{
	char numbuf[20] = " ";
	int n = 0;
	int k = 0;
	int flag = 0;
	for (;;)
	{
		numbuf[n] = rz[st];
		st++;
		n++;
		if (isDigit(rz[st]) == 1)
		{
			numbuf[n] = rz[st];
		}
		else if ((k == 0) && (rz[st] == '.'))
		{
			numbuf[n] = rz[st];
			k++;
		}
		else if (isLetter(rz[st]) == 1)
		{
			numbuf[n] = rz[st];
			flag = 1;
			continue;
		}
		else
			break;
	}
	if (flag == 0)
	{
		int flagg = -1;
		for (int t = 0; t < qq; t++)
			if (strcmp(nu[t].c_str(), numbuf) == 0)
				flagg = t;
		if (flagg != -1)
			printf(" (nu,%d) ", flagg);
		else
		{
			nu[qq] = numbuf;
			printf(" (nu,%d) ", qq);
			qq++;
		}
	}
	else {
		printf(" (");
		for (int i = 0; i < n; i++)
			printf("%c", numbuf[i]);
		printf(",error digital!) ");
	}
	return st;
}
int anotation(int st) //处理除号/和注释，给此函数的语句加上注释
{
	char tabuf[9999] = " ";//定义一个tabuf数组
	int n = 0;
	st++;
	if (rz[st] == '/')//判断rz数组中st下标对应的元素是否为 / ，是执行下列语句
	{
		printf(" (//,-)");//打印注释符号 '//'
		st++;//st自增
		while (rz[st] != 10)//循环直到rz数组中st下标对应的元素为10为止
		{
			tabuf[n] = rz[st];//将rz数组中st下标对应的元素赋给tabuf
			st++;//st自增
			n++;//n自增
		}
		printf(" \n 注释");//换行打印"注释"
		for (int i = 0; i < n; i++)//循环打印出注释的句子
			printf("%c", tabuf[i]);
	}
	else if (rz[st] == '*')//否则判断rz数组中st下标对应的元素是否为 * ，是执行下列语句
	{
		printf(" (/*,-) ");//打印注释符号 '/*'
		st++;//st自增
		int stt = st + 1;//定义变量stt，把st + 1赋给stt
		while (1)//循环
		{
			if (rz[st] == '*' && rz[st + 1] == '/')//判断当前是否为注释结束符，是执行语句
				break;//跳出循环
			tabuf[n] = rz[st];//将rz数组中st下标对应的元素赋给tabuf
			st++;//st自增
			n++;//n自增
			if (rz[st + 1] == '\0')//判断rz数组中st + 1下标对应的元素是否为'\n'，是执行语句
			{
				printf("(/* error!!\n)");//打印错误
				return st + 1;//返回 st + 1
			}
		}
		printf(" \n 注释");//换行打印"注释"
		for (int i = 0; i < n; i++)//循环打印注释内容
			printf("%c", tabuf[i]);
		printf(" (*/,-) ");//打印注释结束符
		st = st + 2;//st + 2
	}
	else if (rz[st] == '=')//否则判断rz数组中st下标对应的元素是否为 = ，是执行下列语句
	{
		st++;//st自增
		printf(" (/*,-) ");//打印注释开始符号
	}
	else printf(" (/,-) ");//否则为除号并打印
	return st;//返回st
}
int other(int st) //函数识别其他特殊字符
{
	switch (rz[st])
	{
	case'=':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (rlop,==) ");
		}
		else
			printf(" (rlop,=) ");
		break;
	case'+':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (+=,-) ");
		}
		else if (rz[st] == '+')
		{
			st++;
			printf(" (++,-) ");
		}
		else printf(" (+,-) ");
		break;
	case'-':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (-=,-) ");
		}
		else if (rz[st] == '-')
		{
			st++;
			printf(" (--,-) ");
		}
		else
			printf(" (-,-) ");
		break;
	case'*':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (*=,-) ");
		}
		else
			printf(" (*,-) ");
		break;
	case'>':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (rlop,>=) ");
		}
		else printf(" (rlop,>) ");
		break;
	case'<':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (rlop,<=) ");
		}
		else
			printf(" (rlop,<) ");
	break;
	case'%':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (\%=,-) ");
		}
		else
			printf(" (\%,-) ");
		break;
	case'!':
		st++;
		if (rz[st] == '=')
		{
			st++;
			printf(" (!=,-) ");
		}
		else
			printf(" (!,wrong thing!) ");
		break;
	case'&':
		st++;
		if (rz[st] == '&')
		{
			st++;
			printf(" (&&,-) ");
		}
		else printf(" (&,worng word!) ");
		break;
	case'|':
		st++;
		if (rz[st] == '|')
		{
			st++;
			printf(" (||,-) ");
		}
		else
			printf(" ( |,worng word ! ) ");
		break;
		case'{':
		st++;
		printf(" ({,-) ");
		break;
	case'}':
		st++;
		printf(" (},-) ");
		break;
	case'(':
		st++;
		printf(" ((,-) ");
		break;
	case')':
		st++;
		printf(" (),-) ");
		break;
	case'[':
		st++;
		printf(" ([,-) ");
		break;
	case']':
		st++;
		printf(" (],-) ");
		break;
	case':':
		st++;
		printf(" (:,-) ");
		break;
	case'#':st++;
		printf(" (#,-) ");
		break;
	case';':
		st++;
		printf(" (;,-) ");
		break;
	case'.':
		st++;
		printf(" (.,-) ");
		break;
	case',':
		st++;
		printf(" (,,-) ");
		break;
	case' ':
		st++;
		break;
	case '  ':
		st++;
		break;
	case 10:
		st++;
		printf("\n");
		break;
	case 34:
		st++;
		printf(" (\",-) ");
		break;
	case 39:
		st++;
		printf(" (',-) ");
		break;
	default:
		printf(" (%c,worngthing) ", rz[st]);
		st++;
	}
	return st;
}
int choice(int st) //根据读入的单词的第一个字符确定调用不同的单词识别函数
{
	if (isLetter(rz[st]) == 1)
		st = alpha(st);
	else if (isDigit(rz[st]) == 1)
		st = number(st);
	else if (rz[st] == '/')
		st = anotation(st);
	else
		st = other(st);
	return st;
}
int main()
{
	int i = 0;
	FILE* fp;
	char name[10];
	printf("请输入文件名:\n");
	scanf("%s", &name);
	if ((fp = fopen(name, "r")) == NULL)
	{
		printf("Open error!");
		exit(0);
	}
	char ch = fgetc(fp);
int main()
{
	int i = 0;
	FILE* fp;
	char name[10];
	printf("请输入文件名:\n");
	scanf("%s", &name);
	if ((fp = fopen(name, "r")) == NULL)
	{
		printf("Open error!");
		exit(0);
	}
	char ch = fgetc(fp);
while (ch != EOF)
	{
		rz[i] = ch;
		i++;
		ch = fgetc(fp);
	}
	fclose(fp);
	int j = 0;
	while (rz[j] != '\0')
		j = choice(j);
	cout << endl << " 程序中标示符如下 " << endl;
	for (i = 0; i < pp; i++)
		cout << i << " " << id[i] << endl;
	cout << " 程序中数字如下" << endl;
	for (j = 0; j < qq; j++)
		cout << j << " " << nu[j] << endl;
	system("pause");
}

四:运行结果及分析

在这里插入图片描述

五．实验心得

在词法分析器实验过程中,不仅仅提高了我的编程技能,而且也加深了我对编译原理的理解,通过这次实验,我更加坚信,只有通过实践才能真正掌握知识,将理论与实践相结合.

十一.
关注
  • 7
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
C语言实现简易C语言词法分析器
11-01
程序说明： 1、不考虑自定义头文件，#include < 规定这样开头，尖括号前面只能空一格。 2、标识符长度< 100,否则越界。 3、字符(串)常量，长度不可超过1， 但需要结尾。 4、注释会整行打印空行。 5、错误文件输出到error.txt；常量符号表：conTable.txt；变量符号表：varTable.txt；无头文件和注释的程序out.txt；token输出到token.txt 6、错误处理包括：不合法的浮点数，注释不封闭，转义字符不存在，头文件包含错误，程序中有非法字符。 7、为了显示注释不封闭的错误处理，定义超过10个字符的“/*”没有结尾就算不封闭。可以在global.h中进行更改，缓冲区大小，文件名长度，token, conTable, varTable的数组长度都可定义。由于struct中不是指针，比较占用空间，故不可分析太大的程序，容易数组越界。
用C语言实现简单的词法分析器
ben_xiao_hai的专栏
08-13 1万+
词法分析器又称扫描器。词法分析是指将我们编写的文本代码流解析为一个一个的记号，分析得到的记号以供后续语法分析使用。词法分析器的工作是低级别的分析：将字符或者字符序列转化成记号.。 要实现的词法分析器单词符号及种别码对照表： 单词符号 # begin if then while do End + - * / : : = 种别码
【C++】词法分析器
ebatudou的博客
01-19 516
(代码在在最后面)
手撸词法分析器（C/C++）
嵌入式
04-17 553
简单来说就是能识别基本的符号（+，-，*，/,），关键词（for ,while,return ,int ），数字等。这么说大家应该有个基本了解，那么我们如何写代码呢，这里有个思维图。可以大致将单词分成这几类，然后进行判断即可。
【编译原理】词法分析：C/C++实现
朝花夕拾
11-04 2万+
这篇史上最全的编译原理之词法分析实验讲解绝对是您的不二选择！汇总了无数专业知识，详解万字，覆盖面广泛，解释细致入微，确保您轻松理解并掌握词法分析的方方面面。无需再寻觅其他资料，只需收藏这一篇，您便能轻松掌握词法分析的精髓，提升编译原理的理解水平，事半功倍，不容错过！
编译原理：简单词法分析器的设计与实现
Believer_YU的博客
07-13 8549
编译原理实验，实现简单的词法分析器，对简单c语言程序进行词法分析
c语言实现词法分析器
热门推荐
zmm0628的博客
11-17 3万+
词法分析器的功能:输入源程序，输出单词字符。单词字符一般可以分为下面五种。 （1）关键字 是由程序语言定义的具有固定意义的标识符。有时称这些标识符为保留字或者基本字。例如c语言中的int,char,define,strcut,double,if,else.等等 （2）标识符 用来表示各种名字，如变量名，数组名，过程名。 （3）常数 常数的类型一般有整形，实型，布尔型等 （4）运算符 如+，-，*，/。 （5）界符 如逗号，分号，括号，%，//，等。 词法分析器的目标就是把程序分成一个一个单词。并给出单词符号
词法分析器（纯c语言）
qq_35853567的博客
12-27 5993
编译原理 简单词法分析器(纯C语言)
词法分析器--C实现
算法、原理、设计模式、非线性控制、深度强化学习
10-15 4586
实验目的：编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类(可自主添加类别)。并依次输出各个单词的内部编码及单词符号自身值。
基于C语言词法分析器【100012525】
05-31
1. 可以识别出用C语言编写的源程序中的每个单词符号，并以记号的形式输出每个...5. 对源程序中出现的错误进行适当的恢复，使词法分析可以继续进行，对源程序进行一次扫描，即可检查并报告源程序中存在的所有词法错误。
C语言词法分析器.zip
最新发布
04-17
C语言词法分析器 C语言词法分析器是一个程序，它读取C语言源代码并将其转换为一系列词法单元（tokens）。这些词法单元是编程语言的基本语法构建块，包括关键字、标识符、常数、运算符和分隔符等。词法分析器通常是...
基于java的C语言词法分析器
06-24
基于java语言开发的C语言词法分析器，附带界面，可以打开文件，可以识别常数、界符、运算符、关键字和标识符，常数中又可以区别整数和实数。
Linux shell编写C语言词法分析器
01-10
使用Linux shell脚本实现的C语言词法分析器，源码有注释，实现所用知识点及使用方法请见文档。可作为大学生在校作业，亦可为编写shell脚本的程序员提供参考。
编译原理实验C语言词法分析器
05-24
编译原理 简单的词法分析器 输入为源程序代码，输出（单词，种别码）序列
【编译原理】简易C语言词法分析器的设计与实现+可运行代码+截图
alovelypeach的博客
01-06 1万+
1.实验名称 实验一 简易C语言词法分析器的设计与实现 2.实验目的 （1）掌握C语言单词符号的类别、正规式，会构造识别单词符号的状态转换图； （2）能利用状态转化图构造C语言词法分析器； （3）掌握词法分析程序的作用。 3.实验内容 （1）对任给的一个C语言源程序，能够滤掉空格、回车换行符、tab键及注释。 （2）识别各类单词符号，如关键字、标识符、运算符、常数、界符，结果以二元式形式输出，并构造符号表。 （3）输出有词法错误的单词及所在行号。（在此阶段只能识别有限的词法错误） 4.实验原理 根据扫描到的
【源码+文档】C语言词法分析器
yuxibdd的博客
07-17 657
C语言定义有以下记号及单词：标识符：C语言中的标识符只能由字母、数字和下划线三种字符组成,且第一个字符必须是字母或下划线；关键字：标识符集合的子集。C语言共有33个关键字（不包含C11新增的关键字）：无符号数：由整数部分、可选的小数部分和可选的指数部分构成；<=>===!；++--；&&||!；<<>>；?；；；()[]->；?；;；以/*开始，以*/结束；以//开始，以换行符结束；
【编译原理】用 C语言 编写的 C语言 词法分析器
remindever的博客
11-13 7021
1.目标： 用C语言编写一个C语言源程序的词法分析器(标题收回) 2.要求 [1] 基本要求：识别关键字、运算符、界限符、常量（布尔型、整型）、标识符； [2] 扩展要求：常量（浮点型）、注释、错误处理。 3.对照表 4.代码（废话少说） #include <iostream> #include <stdio.h> #include <string.h> #include <conio.h> #inc...
毕业设计基于java的c语言词法分析器
11-02
毕业设计基于Java的C语言词法分析器可以实现对C语言程序中的词法单元进行识别、分类和分析。在设计该词法分析器时，可以利用Java语言的强大特性、丰富的类库和易于扩展的特点。 首先，我们需要定义C语言的词法规则，包括关键字、标识符、运算符、常量、分隔符等。然后，可以使用Java中的正则表达式(regex)来匹配和识别这些词法单元。通过读取C语言源代码文件，我们可以逐个字符地处理，根据不同的规则进行匹配和分类。 在词法分析器中，可以使用Java中的InputStream、FileReader等类来读取源代码文件，并使用Java中的Scanner类来逐个字符地进行分析。通过提供一个状态机(state machine)来跟踪词法分析的过程，我们可以逐个字符地进行匹配并识别词法单元。 对于不同的词法单元，可以设计相应的处理逻辑。如遇到标识符，可以使用Java的HashMap等数据结构来保存已经识别的标识符，并为每个标识符分配一个唯一的标识符编号；对于关键字，可以使用预定义好的关键字列表进行匹配；对于运算符，可以使用正则表达式进行匹配等。 最后，词法分析器应该能够输出识别出的词法单元，并可在命令行窗口或文件中保存结果。可以使用Java中的I/O流来实现这一功能。 综上所述，基于Java的C语言词法分析器可以通过利用Java语言的特性和类库来方便地实现对C语言程序中的词法单元进行识别和分析。它可以通过逐个字符地匹配和分类来实现对不同类型的词法单元的识别，并可以输出结果。这个词法分析器可以作为其他编译工具的基础，如语法分析器和编译器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十一.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值