编译原理——词法分析器

已于 2022-12-29 13:51:21 修改
阅读量1.2w 收藏 208
点赞数 28
分类专栏： 编译原理 文章标签： c++
于 2022-12-18 14:09:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wen3017/article/details/128361707
版权

1 概述

设计、编制并调试一个简单的C语言词法分析程序，掌握利用状态转换图设计词法分析器的基本方法，利用该词法分析器完成对源程序字符串的词法分析。通过对该词法分析器的设计，加深对词法分析原理、状态转换图等编译原理知识的理解。

2 使用的基本概念和原理

词法分析器读取的主要功能是输入源程序，输出单词符号，对源程序从左到右，从上到下对逐个字符进行扫描，把把构成源程序的字符串转换成单词符号的序列，输出单词序列用于语法分析。同时还可以滤掉空格、换行符、注释、行列计数，发现错误等功能。语法分析中单词符号主要分为：关键字、标识符、常数、运算符、界符5类，词法分析器可作为独立的一遍，也可作为语法分析器的子程序。

NFA与DFA转换

可以用子集法将NFA转换为DFA，再利用分割法将DFA最小化，正规式的整体变换如图所示：

3 总体设计

词法分析器首先将输入的文件进行读取，读取后对源程序的字符调用词法分析程序分析，根据字符种类来确定调用函数，将结果进行保存，随后输出，主程序示意图如图所示：

 程序在调用词法分析器进行词法分析，根据类码表进行分析，词法分析程序框图如图所示

词法分析器的功能输入源程序，按照构词规则分解成一系列单词符号。单词是语言中具有独立意义的最小单位，包括关键字、标识符、运算符、界符和常数等，本课程设计的数据定义表如表所示：

表 部分单词符号及其分类码表

单词符号

类别编码

类别码的助记符号

单词值

begin

1

BEGIN

关键字

end

2

END

if

3

IF

else

4

ELSE

return

5

RETURN

while

6

WHILE

then

7

THEN

for

8

FOR

int

9

INT

char

10

CHAR

float

11

FLOAE

main

12

MAIN

cin

13

CIN

cout

14

COUT

标识符

15

BA

字母数字串

常数（0-9）

16

CA

数字串

运算符

（+、-、*、%、<、>、=、！）

17

DA

数学运算符号

界符

（; , { } [ ]  ( ) :)）

18

EA

分隔符号

4 代码实现

/*************Written By WFP************/
   /*******Date : 12,16,2022********/
#define _CRT_SECURE_NO_DEPRECATE
#include <iostream>
#include <stdlib.h>
#include <stdio.h>
#include <iomanip>

using namespace std;
string KEYWORD[100] = { "begin","end", "if","else","return","while","then","for",      //关键字
                    "int","char","float","main","cin","cout" };
char SEPARATER[50] = { ';',',','{','}','[',']','(',')',':' };    //界符
char OPERATOR[50] = { '+','-','*','/','>','<','=','!','%'};     //运算符
char FILTER[10] = { ' ','\n','\t'};                    //过滤符
const int IDENTIFIER = 100;         //标识符值
const int CONSTANT = 101;           //常数值
const int FILTER_VALUE = 102;
/**判断是否为关键字**/
int l = 1, a = 0;
bool IsKeyword(string word) {
    for (int i = 0; i < 18; i++) {
        if (KEYWORD[i] == word) {
            if (KEYWORD[i] == "begin")
                printf("助记符号：BEGIN\t");
            if (KEYWORD[i] == "end")
                printf("助记符号：END\t");
            if (KEYWORD[i] == "if")
                printf("助记符号：IF\t");
            if (KEYWORD[i] == "else")
                printf("助记符号：ELSE\t");
            if (KEYWORD[i] == "while")
                printf("助记符号：WHILE\t");
            if (KEYWORD[i] == "int")
                printf("助记符号：INT\t");
            if (KEYWORD[i] == "char")
                printf("助记符号：CHAR\t");
            if (KEYWORD[i] == "for")
                printf("助记符号：FOR\t");
            if (KEYWORD[i] == "return")
                printf("助记符号：RETURN");
            if (KEYWORD[i] == "cout")
                printf("助记符号：COUT\t");
            if (KEYWORD[i] == "float")
                printf("助记符号：FLOAT\t");
            if (KEYWORD[i] == "main")
                printf("助记符号：MAIN\t");
            if (KEYWORD[i] == "cin")
                printf("助记符号：CIN\t");
            if (KEYWORD[i] == "then")
                printf("助记符号：THEN\t");
            a++;
            return true;
        }
    }
    return false;
}
/**判断是否为界符**/
int b = 0;
bool IsSeparater(char ch) {
    for (int i = 0; i < 10; i++) {
        if (SEPARATER[i] == ch) {
            return true;
        }
    }
    return false;
}

/**判断是否为运算符**/
int c = 0;
bool IsOperator(char ch) {
    for (int i = 0; i < 10; i++) {
        if (OPERATOR[i] == ch) {
            return true;
        }
    }
    return false;
}
/**判断是否为过滤符**/
bool IsFilter(char ch) {
    for (int i = 0; i < 4; i++) {
        if (FILTER[i] == ch) {
            if(ch=='\n')
                l++;
            return true;
        }
    }
    return false;
}
/**判断是否为大写字母**/
int e = 0;
bool IsUpLetter(char ch) {
    if (ch >= 'A' && ch <= 'Z') return true;
    return false;
}
/**判断是否为小写字母**/

bool IsLowLetter(char ch) {
    if (ch >= 'a' && ch <= 'z') return true;
    return false;
}
/**判断是否为常数**/
int f = 0;
bool IsDigit(char ch) {
    if (ch >= '0' && ch <= '9') return true;
    return false;
}

template <class T>
int value(T* a, int n, T str) {
    for (int i = 0; i < n; i++) {
        if (a[i] == str) return i + 1;
    }
    return -1;
}
int g = 0;
int h = 0;
int i = 0;
/**词法分析**/



void analyse(FILE* fpin) {
    char ch = ' ';
    string arr = "";
    
    while ((ch = fgetc(fpin)) != EOF) {
        
        arr = "";
        
        if (IsFilter(ch)) {/*while (IsFilter(ch)) {
            arr += ch;
            if (ch == '\n') {
                l++;
                }
            ch = fgetc(fpin);
            }*/
            if(ch!=' ')
                printf("*********************第%d行*********************\n", l);
        }              //判断是否为过滤符
        
        else if (IsLowLetter(ch)) {       //判断是否为关键字
            while (IsLowLetter(ch)) {
                arr += ch;
                ch = fgetc(fpin);
            }
            //fseek(fpin,-1L,SEEK_CUR);
            if (IsKeyword(arr)) {
                printf("类别编码：%d\t", value(KEYWORD, 100, arr));
                //cout << arr  << "  关键字" << endl;
                //if(IaKeyword(arr))
                cout << "文件中符号：" << arr << " 单词类型:" << "关键字" << endl;
                //printf("第%d行\t", l);
                
            }
            else
            {
                printf("助记符号：BA\t");
                printf("类别编码：15\t");
                //cout << arr << "  标识符" << endl;
                cout << "文件中符号：" << arr << " 单词类型:" << "标识符" << endl;
                //printf("第%d行\t", l);
                e++;
            }
            
        }
        
        else if (IsDigit(ch)) {           //判断是否为常数
            while (IsDigit(ch) || (ch == '.' && IsDigit(fgetc(fpin)))) {
                arr += ch;
                printf("助记符号：CA\t");
                
                ch = fgetc(fpin);
            }
            fseek(fpin, -1L, SEEK_CUR);
            printf("类别编码：16\t");
            //cout << arr << "  整形数" <<endl;
            cout << "文件中符号：" << arr << " 单词类型:" << "常数" << endl;
            //printf("第%d行\t", l);
            f++;
        }
        else if (IsUpLetter(ch) || IsLowLetter(ch) || ch == '_') {
            while (IsUpLetter(ch) || IsLowLetter(ch) || ch == '_' || IsDigit(ch)) {
                arr += ch;
                ch = fgetc(fpin);
            }
            fseek(fpin, -1L, SEEK_CUR);
            printf("类别编码：15\t");
            //cout << arr << "  标识符" << endl;
            cout << "文件中符号：" << arr <<" 单词类型:" << "标识符" << endl;
            //printf("第%d行\t", l);
            e++;
        }
        else if (IsOperator(ch)||ch== '/') {
            arr += ch;
            if (ch == '*')
            {
                arr += ch;
                ch = fgetc(fpin);
                while (ch != '*') {
                    arr += ch;
                    ch = fgetc(fpin);
                    if (ch == '*') {
                        arr += ch;
                        ch = fgetc(fpin);
                        if (ch == '/') {
                            i++;
                            break;

                        }
                    }

                }

            }
            else if (ch == '/') {
                arr += ch;
                ch = fgetc(fpin);
                while (ch != '\n') {
                    arr += ch;
                    ch = fgetc(fpin);
                    if (ch == ' ') {
                        i++;
                        break;
                    }
                        
                    }
                
                
            }
            else {
                printf("助记符号：DA\t");
                printf("类别编码：17\t");
                //cout << arr << "  运算符" << endl;
                cout << "文件中符号：" << arr << " 单词类型:" << "运算符" << endl;
                //printf("第%d行\t", l);
                c++;
            }

        }
        //else if()
        else switch (ch) {
        case '+':
        case '-':
        case '*':
        case '/':
        case '>':
        case '<':
        case '=':
        case '!':
        
        {
            arr += ch;
            
            printf("助记符号：DA\t");
            printf("类别编码：17\t");
            //cout << arr << "  运算符" << endl;
            cout << "文件中符号：" << arr << " 单词类型:" << "运算符" << endl;
            //printf("第%d行\t", l);
            c++;
            break;
        }
        case ';':
        case ',':
        case '(':
        case ')':
        case '[':
        case ']':
        case '{':
        case '}':
        case ':':
        {
            arr += ch;
            
            printf("助记符号：EA\t");
            
            printf("类别编码：18\t");
            cout << "文件中符号：" << arr << " 单词类型:"<< "界符" << endl;
            //printf("第%d行\t", l);
            b++;
            break;
        }
        
        default:cout << "\"" << ch << "\":无法识别的字符！" << endl;
            g++;
        }
        
    }
    h = a + b + c + e + f + g;
    printf("文件内容一共有 %d 行\n", l);
    printf("一共有 %d 个字符\n", h);
    printf("基本保留字一共有 %d 个\n", a);
    printf("界符一共有 %d 个\n", b);
    printf("运算符一共有 %d 个\n", c);
    printf("标识符一共有 %d 个\n", e);
    printf("常数一共有 %d 个\n", f);
    printf("注释共有 %d 处\n", i);
    printf("错误共有 %d 个\n", g);

}









int main()
{
    char inFile[40];
    FILE* fpin;
    cout << "请输入源文件名（包括路径和后缀）:";
    while (true) {
        cin >> inFile;
        if ((fpin = fopen(inFile, "r")) != NULL)
            break;
        else {
            cout << "文件名错误！" << endl;
            cout << "请输入源文件名（包括路径和后缀）:";
        }

    }
    /*char ch = ' ';
    while ((ch = fgetc(fpin)) != EOF) {
        printf("%c", ch);
    }*/
    cout << "------词法分析如下------" << endl;
    cout << "*********************第1行*********************" << endl;
    //read(fpin);
    analyse(fpin);

    system("pause");
    return 0;
    

}

6 测试和试运行

程序测试

进行测试文件编写，采用txt文件，程序内容如下所示：

int main (){

int a=1,b=2;

b / a;

b >a;

c=a +b;

cout <<c;return 0;int

}

通过对程序进行调试，调试控制台如图所示：

 

输入文件路径并运行，如图所示：

 

 

 

源码地址： https://github.com/wen3017/word-analyse/blob/analyse/word.cpp

课设文件需要留言

小3w
关注
  • 28
    点赞
  • 踩
  • 208
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
专栏目录
编译原理--词法分析器
qq_38875908的博客
11-23 2710
一个简单的C--词法分析器 一、 实验目的 设计、编制并调试一个自定义语言C--的词法分析程序，加深对词法分析原理的理解。 二、 实验内容 2.1 自定义语言C--的词法系统 1)类型系统：支持int、char、void基本类型，分别用词法记号表示为关键字int、char和void。 2)常量：字符常量(用单引号括起来)、字符串常量（用双引号括起来）、八/十/六进制整数常量（0开头
词法分析器的实现
weixin_30411239的博客
04-17 2632
开篇 编译，简单的说，就是把源程序转换为可执行程序。从hello world 说程序运行机制里面简单的说明了程序运行的过程，以及一个程序是如何一步步变成可执行文件的。在这个过程中，编译器做了很多重要的工作。对底层该兴趣的我，自然的，也就迫切想搞清楚编译的内部实现，也就是编译的原理。 这篇文章主要说的是编译器前端，词法分析器的原理，最后会给出一个词法分析器的简单实现。 介绍 编译简单的...
atitit.词法分析原理 词法分析器 (Lexer)
weixin_34280237的博客
04-23 542
atitit.词法分析原理 词法分析器 (Lexer)   1. 词法分析（英语：lexical analysis）1 2. ；实现词法分析程序的常用途径:自动生成,手工生成.[1] 2 2.1. 词法分析程序的功能2 2.2. 如何描述词素3 2.3. 单词token3 2.4. Token的类型，根据程序设计语言的特点，单词可以分为五类：关键字、标识符、常量、运算符、界符。以4 2.5....
编译原理------词法分析器
最新发布
cjy031025_cloud的博客
06-11 1805
状态转换图，适用于手工编写词法分析器。为了词法分析器的自动生成，需要将转换图概念化，即：正规表达式、有限自动机。
编译原理 - 词法分析器
Rbtoooooooooo的博客
06-29 811
题目 提供一个包含源代码的source.txt，其内容如下： /example/ b=1\ 00 101:a=2*(1+3) IF ( b > 10 ) THEN a=1 ELSE IF(b>=5) THEN a=2 ELSE GOTO 101 要求先将源代码进行预处理，把
编译原理-词法分析器
weixin_61426225的博客
10-24 2895
我们考虑转换到状态1的条件：我们只有在接收到字符a的时候才会转换成状态1，而想要从状态1转换的状态3则必须要再接收一个字符a，考虑状态2，只有在接收到字符b的情况下才会转换到状态2，然后终态一定是以aa或bb结尾吗？我们看到终态还可以接收a|b转圈，所以一定不是以aa|bb结尾，但是要想从初态到终态，一定会经过1、2两个状态中的一个，所以一定会出现连续的aa|bb。这一步进行的意义是将状态之间的转换，变为状态集之间的转换，这样就有可能消除映射不是单值部分映射的问题。
编译原理——词法分析器设计与实现
04-30
总的来说，这个项目提供了一个实际操作的词法分析器实现，对于学习编译原理和语言处理的开发者来说，是一个宝贵的实践资源。通过深入研究和修改这个项目，可以更深入地理解编译器的工作原理，以及如何针对不同编程...
编译原理实验1——词法分析器设计
07-08
通过阅读和理解这些代码，你可以深入了解词法分析器的工作原理，并动手实践来提升你的编译原理知识。 总之，词法分析器是编译器的关键组件，它的设计直接影响到编译器的效率和错误检测能力。通过这个实验，你可以...
编译原理——词法分析器（完整版）
12-02
### 编译原理——词法分析器（完整版） #### 概述 本文将深入解析一个实际的词法分析器代码实例，该实例基于C语言编写，并实现了完整的词法分析功能。词法分析器是编译器的重要组成部分之一，其主要任务是从源代码...
编译原理 实验一 词法分析器
热门推荐
just_a_new_life
07-03 10万+
编写一个词法分析程序
编译原理实验1词法分析器
06-07
编译原理实验一1
编译原理-词法分析器（C语言源码）
06-01
编译原理实现的C语言词法分析器，能够识别C语言关键字和部分运算符和界符
编译原理词法分析器_编译原理_词法分析_
09-30
a) 启动程序，请求输入测试程序名，键入程序名后自动开始词法分析并输出结果；b) 输出结果为单词的二元式序列（样式见样板输出1和2）；c) 要求能发现下列词法错误和指出错误性质和位置：非法字符，即不是SAMPLE字符集的符号；字符常数缺右边的单引号（字符常数要求左、右边用单引号界定，不能跨行）；注释部分缺右边的界符*/（注释要求左右边分别用/*和*/界定，不能跨行）
编译原理———词法分析器
我的博客
03-24 6949
设计并实现一个包含预处理功能的词法分析程序，加深对编译中词法分析过程的理解。
编译原理课程实验
相濡以沫的专栏
06-18 2996
直接粘实验报告，debug的时间较少，估计还有很多错儿，有些情况没考虑到。不过状态机的基本思路就是这样，其他的部分可以自行删改。 一、实验概述 1.1、实验要求       选择计算机高级语言之一-----C语言，运用恰当的此法分析技术线路，设计和实现其对应的词法分析器。 建议：编程语言，选择《计算机程序设计》课程所采用的语言。 提示：技术线路选择如下两种之一： 正则式→NFA→D
编译原理————词法分析器
11-26
编译原理是计算机科学中的一个重要分支，它研究如何将高级语言编写的程序转换成计算机能够执行的机器语言程序。其中，词法分析器是编译器中的一个重要组成部分，它负责将源代码中的字符序列转换成有意义的单词序列，也就是词法单元。 词法分析器通常采用有限状态自动机（Finite State Automaton，FSA）来实现。它将源代码作为输入，逐个字符地读入并进行状态转移，直到识别出一个完整的词法单元。在这个过程中，词法分析器会忽略空格、注释等无关字符，并将识别出的词法单元传递给语法分析器进行下一步处理。 词法分析器的主要任务包括：定义词法单元的类型和模式、实现有限状态自动机、处理错误和异常情况等。在实际编译器中，词法分析器通常由生成器自动生成，开发者只需要定义好词法单元的类型和模式即可。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值