词法分析器(C语言版)

最新推荐文章于 2024-09-27 14:19:28 发布
最新推荐文章于 2024-09-27 14:19:28 发布
阅读量2.3k 收藏 1
点赞数
分类专栏： Compiling Principles Other algorithm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/X_White/article/details/8716771
版权

词法分析器：

有限状态机的理论并不难，但是如果把状态机理论转换成代码，这个就需要思考了


数据结构设计：

char charList[_CHARLIST_SIZE][15] = {0};
char charList_nu[_CHARLIST_SIZE] = {0};
char charList_index = 0;

char numList[_NUMLIST_SIZE][15] = {0};
char numList_nu[_CHARLIST_SIZE] = {0};
char numList_index = 0;

char delimilterList[_DELIMILTER_SIZE][15] = {0};
char delimilterList_nu[_DELIMILTER_SIZE] = {0};
char delimilterList_index = 0;


由于最后输出需要看到非保留字和数字本身，以及出现的行号，所以这里用三个变量来记录，其中*_index 表示的数组的长度。

 

保留字：

char reserveList[_RESERVE_NUM][15] = {
	"void", "int", "char", "float", "double",
	"while", "auto", "break", "case", "const",
	"continue", "default", "do", "else", "enum",
	"extern", "for", "goto", "if", "long",
	"return", "short", "signed", "sizeof", "static",
	"struct", "switch", "typedef", "union", "unsigned",
	"volatile",  "redister"
};


Google后所查询到的保留字，这里我没有发现main，由此可见main 应该是预处理的时候给处理掉了。

状态机：

由于书上的内容不全，因此在编写的时候在判断 isLetter 加入了’_’，判断数字的时候加入了+- 号的判断，以及双引号的判断。

 

待编译内容

void _fun() {

}

int main() {
    int a = -111;
    int b = +1;
    printf("%d, a);
    return 0;
}


可以看到这个代码是正确的代码。

运行后的结果，可以看到字符和常量已经分别出来了，这里我就不截图了，太麻烦。

 

在处理双引号的时候，当匹配到第一个引号时，即是状态机的初态，遇到下一个引号即到达终态，但是如果是错误代码（如下图），即无法到达终态，怎么办？

对于这种情况我没有单独处理，输出结果如下：


我们看到这里有一个总行数total nu 为7是错误的。因为我们在处理引号的初态时，始终无法匹配到第二个引号，自然也就始终把 /n 当成是引号中的内容，在以引号为初态的状态机中跳转。

关于回退指针，由于我没有一次读取到一个字符数组中，所以用了一个内置函数 ungetc，能将字符放回到流中

由于要以文本输出，就用freopen，然后fprintf即可，如果用fputc的话只能单个的输入。

 

对于数字的处理（下图为样例）：


由此可见第一个是正确的输入，后两个均为不可识别的部分。下图为我识别出的部分


原本我想的是这样的识别肯定是错误的，因为它把不应该识别的部分也识别出来了，也就是说这里存在语法错误。但是后来一想，这是对的，因为只要存在不识别的部分，就直接报错。我们只需要关注需要识别的部分即可。这里可以很清楚的看到我把-3.12e+1.11识别出来了。

如果要让line 2和line 3不显示东西的话，需要考虑的问题就是当终态出现的时候，比如识别+1e-e时，先识别 +1e-，然后当识别e 的时候，这里出现了错误，无法到达终态。然后用ungetc回退，之后再次读入e，这里就当成了一个字符，即最后在line 2显示出了e ，这就是原因。Line3也是。但是如我之前所说，只要出现识别不了的东西，直接报错即可。我这里通过返回error，并且这个error是用lastRetval全局变量来标识的，这和windows编程里的getLastError有着一样的意思。


由于是现学现写，不免有部分是错误的。还望各位大神指点，而且目前对语法分析，和语义分析还不清楚。

 

代码： 


#include <stdio.h>
#include <iostream>
#include <cstring>

#define NUMERROR -1

#define _RESERVE_NUM 32
#define _DELIMILTER_NUM 8
#define _DELIMILTER_SIZE 100
#define _CHARLIST_SIZE 100
#define _NUMLIST_SIZE 100
#define _TOKEN_SIZE 100
#define COL 1000

#define LT 1
#define LE 2
#define EQ 3

using namespace std;

FILE* fp;
int lastRetval = 0;

char charList[_CHARLIST_SIZE][15] = {0};
char charList_nu[_CHARLIST_SIZE] = {0};
char charList_index = 0;

char numList[_NUMLIST_SIZE][15] = {0};
char numList_nu[_CHARLIST_SIZE] = {0};
char numList_index = 0;

char delimilterList[_DELIMILTER_SIZE][15] = {0};
char delimilterList_nu[_DELIMILTER_SIZE] = {0};
char delimilterList_index = 0;

char reserveList[_RESERVE_NUM][15] = {
	"void", "int", "char", "float", "double",
	"while", "auto", "break", "case", "const",
	"continue", "default", "do", "else", "enum",
	"extern", "for", "goto", "if", "long",
	"return", "short", "signed", "sizeof", "static",
	"struct", "switch", "typedef", "union", "unsigned",
	"volatile",  "redister"
};

char delimilter[_DELIMILTER_NUM][5] = {
	"+", "-", "*", "/", "<", ";", "<=", "=="		// six plus two
};

void nu_print(int nu) {
	int i, cindex, nindex, flag, hasPrint;
	cindex = nindex = 0;
	printf("\n======================== each line to see =========================\n");
	for(i = 0; i < nu; i++) {
		hasPrint = 0;
		for( ; cindex <= charList_index || nindex <= numList_index; ) {
			flag = 0;
			if(charList_nu[cindex] == i+1) {
				if(0 == hasPrint) {
					printf("\nline %d\n", i+1);
					hasPrint = 1;
				}
				printf("    %s ", charList[cindex]);
				++cindex;
				flag = 1;
			}
			if(numList_nu[nindex] == i+1) {
				if(0 == hasPrint) {
					printf("\nline %d\n", i+1);
					hasPrint = 1;
				}
				printf("    %s ", numList[nindex]);
				++nindex;
				flag = 1;
			}
			if(0 == flag) break;
		}
	}
}

void _print(int nu) {
	int i, j;
	printf("\n============== char of list ================\n");
	for(i = 0; i < charList_index; i++) {
		printf("%s  nu: %d\n", charList[i], charList_nu[i]);
		fprintf(fp,"%s  nu: %d\n", charList[i], charList_nu[i]);
	}
	printf("\n============== const number of list ================\n");
	for(i = 0; i < numList_index; i++) {
		printf("%s  nu: %d\n", numList[i], numList_nu[i]);
		fprintf(fp, "%s  nu:%d\n", numList[i], numList_nu[i]);
	}
	printf("\ntotal nu: %d\n", nu);
}

bool isLetter(char a){
	if((a <= 'Z' && a >= 'A') || (a <= 'z' && a >= 'a') || '_' == a) {
		return true;
	}
	else return false;
}

bool isDigit(char a) {
	if(a <= '9' && a >= '1') {
		return true;
	}
	else return false;
}

void concatenation(char token[_TOKEN_SIZE], char str) {
	int len = strlen(token);
	token[len] = str;
}

int reserve(char token[_TOKEN_SIZE]) {
	int i, j;

	for(i = 0; i < _RESERVE_NUM; i++) {
		if(!strcmp(&reserveList[i][0], token)) {
			return 1;
		}
	}
	for(i = 0; i < _DELIMILTER_NUM; i++) {
		if(!strcmp(&delimilter[i][0], token)) {
			return 2;
		}
	}
	return 0;
}

int buildCharList(char token[_TOKEN_SIZE]) {
	strcpy(&charList[charList_index][0], token);
	++charList_index;

	return charList_index-1;
}

int buildNumList(char token[_TOKEN_SIZE]) {
	strcpy(&numList[numList_index][0], token);
	++numList_index;

	return numList_index-1;
}

int analysisCode(char str, int& nu) {
	int num;
	char token[_TOKEN_SIZE];
	memset(token, 0, sizeof(token));
	
	if('\n' == str) {
		++nu;
		return '\n';
	}
	else if(isLetter(str)) {
		while(isLetter(str) || isDigit(str)) {
			concatenation(token, str);
			str = getchar();
		}
		ungetc(str, stdin);
		int type = reserve(token);
		if(0 == type) {
			num = buildCharList(token);
			charList_nu[num] = nu;
		}
		memset(token, 0, sizeof(token));
		return num;
	}
	else if(isDigit(str) || '+' == str || '-' == str) {
		if(NUMERROR == lastRetval) {
			return NUMERROR;
		}
		int dotFlag, eFlag, numFlag, fFlag;
		int eNum, dotNum, fNum;

		dotFlag = eFlag = 0;
		numFlag = fFlag = 1;
		eNum = dotNum = fNum = 0;
		while(isDigit(str) || 'e' == str || '.' == str || '+' == str || '-' == str) {
			if('e' == str) {
				if(0 == eFlag || 1 == eNum) {
					ungetc(str, stdin);
					return NUMERROR;
				}
				dotFlag = 0;
				eFlag = 0;
				numFlag = 1;
				fFlag = 1;
				++eNum;
				dotNum = 0;
				fNum = 0;
			}
			else if('+' == str || '-' == str) {
				if(0 == fFlag || 1 == fNum) {
					ungetc(str, stdin);
					return NUMERROR;
				}
				dotFlag = 0;
				eFlag = 0;
				numFlag = 1;
				fFlag = 0;
				++fNum;
			}
			else if('.' == str) {
				if(0 == dotFlag || 1 == dotNum) {
					ungetc(str, stdin);
					return NUMERROR;
				}
				dotFlag = 0;
				eFlag = 0;
				numFlag = 1;
				fFlag = 0;
				++dotNum;
			}
			else if(isDigit(str)) {
				dotFlag = 1;
				eFlag = 1;
				numFlag = 1;
				fFlag = 0;
			}
			concatenation(token, str);
			str = getchar();
		}
		ungetc(str, stdin);
		num = buildNumList(token);
		numList_nu[num] = nu;
		memset(token, 0, sizeof(token));
		return num;
	}
	else if('"' == str) {
		int flag = 0;
		while(0 == flag) {
			concatenation(token, str);
			str = getchar();
			if('"' == str) {
				flag = 1;
			}

		}
		concatenation(token, str);
	}
	else {
		for(int i = 0; i < 6; i++) {
			if(delimilter[i][0] == str) {
				return str;
			}
		}
		if('<' == str) {
			str = getchar();
			if('=' == str) {
				return LE;
			}
			ungetc(str, stdin);
			return LT;
		}
		if('=' == str) {
			str = getchar();
			if('=' == str) {
				return EQ;
			}
			ungetc(str, stdin);
			return '=';
		}
	}
//	return NUMERROR;
}

int main() {
	freopen("t1.txt", "rw", stdin);
	fp = fopen("D://file.txt", "w");

	char str;
	char token[_TOKEN_SIZE];
	int nu = 1;
	memset(token, 0, sizeof(token));
	while(scanf("%c", &str) != EOF) {
		lastRetval = analysisCode(str, nu);
	}
	
	_print(nu-1);

	nu_print(nu-1);

	fclose(stdin);
	return 0;
}




C语言实现简易词法分析器
felicitia的专栏
10-30 3万+
词法分析是编译的基础，需要对程序中的单词进行划分，并生成token文件（主要存符号表的入口地址，以便获取进一步需要的信息），供语法分析阶段使用。同时要生成符号表，包括变量的和常量的，在之后的分析中会不断的查填符号表，将单词的类型，值等各项信息填完整，才能进行运算等操作。采用了较为底层的C语言。结果由于好久没用过了，犯了许多低级的错误，编程过程比较艰辛，下面总结遇到的问题。 1、C语言严格区分字符
使用c语言编写词法分析程序,用C语言编写一个简单的词法分析程序
weixin_35231615的博客
05-19 7947
问题描述：用C或C++语言编写一个简单的词法分析程序，扫描C语言小子集的源程序，根据给定的词法规则，识别单词，填写相应的表。如果产生词法错误，则显示错误信息、位置，并试图从错误中恢复。简单的恢复方法是忽略该字符(或单词)重新开始扫描。相关词法规则::=::=::=::＝::=::=::=::=a|b|c|……|x|y|z::=0|1|2|3|4|5|6|7|8|9::＝+|-::=*|／::＝|!...
C语言小项目-词法分析器
qq_42037383的博客
07-02 2246
词法分析器是编译器中的第一个阶段，其主要任务是扫描输入的源代码字符流，并将字符组成的序列转换为有意义的标记（Token）。每个 Token 包含一个词法单元的信息，如关键字、标识符、运算符、常量等。例如，对于表达式int a = 10;，词法分析器会生成诸如INTASSIGNNUMBER(10)和SEMICOLON等 Token。一个完整的编译器，大致会经历如下几个阶段：各个阶段的职责，简单描述如下：1.词法分析：对源文件进行扫描，将源文件的字符划分为一个一个的记号 (token) (
编译器之词法分析
最新发布
听老罗娓娓道来
09-27 1131
ifelse标识符：以字母开头，后面可以跟任意数量的字母或数字数字：一个或多个数字字符if | else // 关键字[a-zA-Z][a-zA-Z0-9]* // 标识符[0-9]+ // 数字[+\-*/] // 运算符然后，我们可以使用Lex或Flex等工具来生成相应的词法分析器代码。总之，词法分析的底层原理涉及到形式语言和自动机理论，通过正则表达式和有限状态自动机来实现对源代码字符序列的模式匹配和Token识别。# Token类型定义# Token类。
词法分析器 c 语言
Just do it
11-19 1151
#include /*定义I/O库所用的某些宏和变量*/ #include /*定义字符串库函数*/ #include /*提供有关屏幕窗口操作函数*/ #include /*分类函数*/ #include char prog[80]={'\0'}, tok
C语言词法分析器（简易）
11-23
简易C语言词法分析器：处理m语言源程序，过滤掉无用符号，判断源程序中单词的合法性，分解出正确的单词，输出二元组。
词法分析器C语言编写（附实验报告）
04-17
通过C语言编写一个词法分析器完成输入是字符串（或源程序文本文件），输出是源程序中各单词的字符串、起止位置、词的类别。附带实验报告。
词法分析器 c语言
w329636271的专栏
03-26 1414
设计思路：对于所有的以字母，或者下划线的字符串提取出来，然后在从这些字符串中识别出一进在关键字中的字符串。对于所有的数字组成的字符串我们都提取出来，便是整型变量，对于所有的以“开头的，我们要一直读取，知道读取到”结尾。这便是字符串，对于所有的字符型，我们有‘\n’,或者‘a’这两种情况，我们需要分类读取变可以了。剩下的便是界符，运算符，我们分别讨论就可以了。 先贴出一些部分代码：头文件 main
C语言词法分析器
06-17
编译原理课程设计，用C语言实现C语言子集的词法分析器
词法分析器 C语言版
12-10
简单的词法分析器 C语言版 对文件中的语句进行词法分析
词法分析器 c语言版本
05-08
"词法分析器 c语言版本" 本篇资源是一个词法分析器的C语言实现，用于编译原理课上编写的编译器的一部分。下面是对标题、描述、标签和部分内容的解释和分析： 标题：词法分析器 c语言版本 该标题表明该资源是一个...
C语言实现词法分析器
11-02
编译技术实验：C语言实现词法分析器（Java源程序）
c 语言 词法分析器
06-03
c 语言 词法分析器 编译原理 用c语言编写的一个词法分析器 词法分析器是学习编译原理的重要部分
c语言词法分析器
04-10
C编写的简易词法分析器，主要功能是：当你从文件输入一段c语言代码之后，程序能分析代码结构，解析代码的各种关键字，自定义标识符，数字等。
简易C语言词法分析器
04-27
C代码实现的C语言词法分析器，包含源码和可执行文件
词法分析器C语言版，期末作业必备
04-18
c语言版词法分析,并有详细步骤。按步骤可完成完美实现 c语言版词法分析,并有详细步骤。按步骤可完成完美实现
C语言开发课程设计词法分析器源代码.zip
06-08
C语言开发课程设计词法分析器源代码介绍 课程设计：词法分析器； 实验1：词法分析实验 实验2：语法分析实验 课程设计 设计任务： 使用词法分析的自动生成工具 Flex 生成 C/C++语言的词法分析器 ,当输入C/C++源代码...
C语言实现的词法分析器
穆穆里的专栏
10-21 2264
昨天花了一整天的时间而且还参考老师发的代码才写好一个简陋的词法分析器，今天稍微记录一下吧。 这是编译原理课上的实验，这里先贴出题目要求： 字符集定义 字符集>→ 字母>│数字>│单界符> 字母>→ A│B│…│Z│a│b│…│z 数字>→ 0│1│2│…│9 单界符>→ +│-│*│/│=││>│(│)│[│]│:│.│; │,│'
编译原理词法分析器C语言版
05-31
好的，我可以为您解答关于编译原理词法分析器的问题。首先，词法分析器是编译器中的一个重要组成部分，它的作用是将源代码转换为词法单元（Token）序列。在C语言中，我们可以使用有限自动机（DFA）来实现词法分析器。 以下是一个简单的C语言版词法分析器示例： ``` #include <stdio.h> #include <stdlib.h> #include <ctype.h> #include <string.h> #define MAX_LENGTH 100 typedef enum { ID, NUM, PLUS, MINUS, TIMES, DIVIDE, ASSIGN, SEMI, LPAREN, RPAREN, ERROR } TokenType; typedef struct { TokenType type; char value[MAX_LENGTH]; } Token; Token scan() { Token token; char ch = getchar(); while (isspace(ch)) { ch = getchar(); } if (isalpha(ch)) { int i = 0; while (isalnum(ch)) { token.value[i++] = ch; ch = getchar(); } token.value[i] = '\0'; ungetc(ch, stdin); token.type = ID; } else if (isdigit(ch)) { int i = 0; while (isdigit(ch)) { token.value[i++] = ch; ch = getchar(); } token.value[i] = '\0'; ungetc(ch, stdin); token.type = NUM; } else if (ch == '+') { token.type = PLUS; } else if (ch == '-') { token.type = MINUS; } else if (ch == '*') { token.type = TIMES; } else if (ch == '/') { token.type = DIVIDE; } else if (ch == '=') { token.type = ASSIGN; } else if (ch == ';') { token.type = SEMI; } else if (ch == '(') { token.type = LPAREN; } else if (ch == ')') { token.type = RPAREN; } else { token.type = ERROR; } return token; } int main() { Token token; while ((token = scan()).type != ERROR) { printf("%s: %s\n", token.value, token.type); } return 0; } ``` 在这个例子中，我们定义了一个`Token`结构体，包含了`Token`的类型和值。然后通过`scan()`函数实现了词法分析，根据不同的字符类型返回不同的`Token`。最后在`main()`函数中，循环调用`scan()`函数，输出每个`Token`的类型和值。 需要注意的是，这个例子只是一个简单的示例，实际上词法分析器的实现要更加复杂，需要考虑到关键字、运算符、注释等情况。不过通过这个例子，您可以了解到词法分析器的基本原理，以及如何使用C语言实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值