编译原理词法分析代码

于 2024-05-24 16:43:42 发布
阅读量293 收藏 6
点赞数 3
文章标签： r语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68447809/article/details/139178670
版权

/***********************************************
* 词法分析器
* 编译环境：Visual Studio 2017
***********************************************/
#include <iostream>
#include <string>
#include <Windows.h>
using namespace std;

/* 单词编码 */
enum TokenCode
{
    /*未定义*/
    TK_UNDEF = 0,

    /* 关键字 */
    KW_VOID,    //void关键字
    KW_MAIN,    //main关键字
    KW_INT,        //int关键字
    KW_DOUBLE,    //double关键字
    KW_FOR,        //for关键字
    KW_WHILE,    //while关键字
    KW_SWITCH,    //switch关键字
    KW_CASE,    //case关键字
    KW_IF,        //if关键字
    KW_ELSE,    //else关键字
    KW_RETURN,    //return关键字

    /* 运算符 */
    TK_PLUS,    //+加号
    TK_MINUS,    //-减号
    TK_STAR,    //*乘号
    TK_DIVIDE,    ///除号
    TK_ASSIGN,    //=赋值运算符
    TK_EQ,        //==等于号
    TK_LT,        //<小于号
    TK_LEQ,        //<=小于等于号
    TK_GT,        //>大于号
    TK_GEQ,        //>=大于等于号

    /* 分隔符 */
    TK_OPENPA,    //(左圆括号
    TK_CLOSEPA,    //)右圆括号
    TK_OPENBR,    //[左中括号
    TK_CLOSEBR,    //]右中括号
    TK_BEGIN,    //{左大括号
    TK_END,        //}右大括号
    TK_COMMA,    //,逗号
    TK_SEMOCOLOM,    //;分号
    
    /* 常量 */
    TK_INT,        //整型常量
    TK_DOUBLE,    //浮点型常量

    /* 标识符 */
    TK_IDENT
};

/******************************************全局变量*****************************************************/
TokenCode code = TK_UNDEF;        //记录单词的种别码
const int MAX = 11;                //关键字数量
int row = 1;                    //记录字符所在的行数
string token = "";                //用于存储单词
char  keyWord[][10] = { "void","main","int","double","for","while","switch","case","if","else","return" };    //存储关键词

/**********************************************函数*****************************************************/

/********************************************
* 功能：打印词法分析的结果
* code：单词对应的种别码
* token：用于存储单词
* row：单词所在的行数
*********************************************/
void print(TokenCode code)
{
    
    switch (code)
    {
    /*未识别的符号*/
    case TK_UNDEF:
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_RED);    //未识别的符号为红色
        cout << '(' << code << ',' << token << ")" << "未识别的符号在第" << row << "行。" << endl;
        return;
        break;
    /*关键字*/
    case KW_VOID:        //void关键字
    case KW_MAIN:    //main关键字
    case KW_INT:        //int关键字
    case KW_DOUBLE:    //double关键字
    case KW_FOR:        //for关键字
    case KW_WHILE:    //while关键字
    case KW_SWITCH:    //switch关键字
    case KW_CASE:    //case关键字
    case KW_IF:        //if关键字
    case KW_ELSE:    //else关键字
    case KW_RETURN:    //return关键字
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_BLUE);    //关键字为蓝色
        break;

    /* 运算符 */
    case TK_PLUS:    //+加号
    case TK_MINUS:    //-减号
    case TK_STAR:    //*乘号
    case TK_DIVIDE:    ///除号
    case TK_ASSIGN:    //=赋值运算符
    case TK_EQ:        //==等于号
    case TK_LT:        //<小于号
    case TK_LEQ:    //<=小于等于号
    case TK_GT:        //>大于号
    case TK_GEQ:        //>=大于等于号

    /* 分隔符 */
    case TK_OPENPA:    //(左圆括号
    case TK_CLOSEPA:    //)右圆括号
    case TK_OPENBR:    //[左中括号
    case TK_CLOSEBR:    //]右中括号
    case TK_BEGIN:    //{左大括号
    case TK_END:    //}右大括号
    case TK_COMMA:    //,逗号
    case TK_SEMOCOLOM:    //;分号
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_GREEN);    //运算符和分隔符为绿色
        break;
        
    /* 常量 */
    case TK_INT:    //整型常量
    case TK_DOUBLE:    //浮点型常量
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_RED | FOREGROUND_GREEN);    //常量为黄色
        if(token.find('.')==token.npos)
            cout << '(' << code << ',' << atoi(token.c_str()) << ")" << endl;                        //单词为整型
        else
            cout << '(' << code << ',' << atof(token.c_str()) << ")" << endl;                            //单词为浮点型
        return;
        break;
    /* 标识符 */
    case TK_IDENT:
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY);    //关键字为灰色
        break;
    default:
        break;
    }
    cout << '(' << code << ',' << token << ")" << endl;
}

/********************************************
* 功能：判断是否是关键字
* MAX：关键字数量
* token：用于存储单词
*********************************************/
bool isKey(string token)
{
    for (int i = 0; i < MAX; i++)
    {
        if (token.compare(keyWord[i]) == 0)
            return true;
    }
    return false;
}

/********************************************
* 功能：返回关键字的内码值
* MAX：关键字数量
* token：用于存储单词
*********************************************/
int  getKeyID(string token)
{
    for (int i = 0; i < MAX; i++)
    {    //关键字的内码值为keyWord数组中对应的下标加1
        if (token.compare(keyWord[i]) == 0)    
            return i+1;
    }
    return -1;
}

/********************************************
* 功能：判断一个字符是否是字母
* letter：被判断的字符
*********************************************/
bool isLetter(char letter)
{
    if ((letter >= 'a'&&letter <= 'z') || (letter >= 'A' &&letter <= 'Z'))
        return true;
    return false;

}

/********************************************
* 功能：判断一个字符是否是数字
* digit：被判断的字符
*********************************************/
bool isDigit(char digit)
{
    if (digit >= '0'&&digit <= '9')
        return true;
    return false;
}

/********************************************
* 功能：词法分析
* fp：文件指针
* code：单词对应的种别码
* token：用于存储单词
* row：单词所在的行数
*********************************************/
void lexicalAnalysis(FILE *fp)
{
    char ch;            //用于存储从文件中获取的单个字符
    while ((ch = fgetc(fp)) != EOF)    //未读取到文件尾，从文件中获取一个字符
    {
        token = ch;                                    //将获取的字符存入token中
        if (ch == ' ' || ch == '\t' || ch == '\n')    //忽略空格、Tab和回车
        {
            if (ch == '\n')                            //遇到换行符，记录行数的row加1
                row++;
            continue;                                //继续执行循环
        }
        else if (isLetter(ch))            //以字母开头，关键字或标识符
        {
            token = "";                    //token初始化
            while (isLetter(ch) || isDigit(ch))    //非字母或数字时退出，将单词存储在token中
            {
                token.push_back(ch);    //将读取的字符ch存入token中
                ch = fgetc(fp);            //获取下一个字符
            }
            //文件指针后退一个字节，即重新读取上述单词后的第一个字符
            fseek(fp, -1L, SEEK_CUR);
            if (isKey(token))    //关键字
                code = TokenCode(getKeyID(token));
            else    //标识符
                code = TK_IDENT;    //单词为标识符
        }
        else if (isDigit(ch))    //无符号常数以数字开头
        {
            int isdouble = 0;    //标记是否为浮点数
            token = "";            //token初始化
            while (isDigit(ch))    //当前获取到的字符为数字
            {
                token.push_back(ch);        //读取数字，将其存入token中
                ch = fgetc(fp);                //从文件中获取下一个字符
                //该单词中第一次出现小数点
                if (ch == '.'&& isdouble == 0)
                {
                    //小数点下一位是数字
                    if (isDigit(fgetc(fp)))
                    {
                        isdouble = 1;        //标记该常数中已经出现过小数点
                        fseek(fp, -1L, SEEK_CUR);        //将超前读取的小数点后一位重新读取    
                        token.push_back(ch);            //将小数点入token中
                        ch = fgetc(fp);                //读取小数点后的下一位数字
                    }
                }
            }
            if (isdouble == 1)
                code = TK_DOUBLE;    //单词为浮点型
            else
                code = TK_INT;                //单词为整型
            //文件指针后退一个字节，即重新读取常数后的第一个字符
            fseek(fp, -1L, SEEK_CUR);
        }
        else switch (ch)
        {    
        /*运算符*/
        case '+': code = TK_PLUS;        //+加号            
            break;
        case '-': code = TK_MINUS;        //-减号
            break;
        case '*': code = TK_STAR;        //*乘号        
            break;
        case '/': code = TK_DIVIDE;        //除号
            break;
        case '=':
        {
            ch = fgetc(fp);                //超前读取'='后面的字符
            if (ch == '=')                //==等于号
            {
                token.push_back(ch);    //将'='后面的'='存入token中
                code = TK_EQ;            //单词为"=="
            }        
            else {                        //=赋值运算符
                code = TK_ASSIGN;        //单词为"="
                fseek(fp, -1L, SEEK_CUR);    //将超前读取的字符重新读取
            }
        }
        break;
        case '<':        
        {
            ch = fgetc(fp);                //超前读取'<'后面的字符
            if (ch == '=')                //<=小于等于号
            {
                token.push_back(ch);    //将'<'后面的'='存入token中
                code = TK_LEQ;            //单词为"<="
            }        
            else {                        //<小于号
                code = TK_LT;            //单词为"<"
                fseek(fp, -1L, SEEK_CUR);    //将超前读取的字符重新读取
            }
        }
        break;
        case '>':
        {
            ch = fgetc(fp);                //超前读取'>'后面的字符
            if (ch == '=')                //>=大于等于号
            {
                token.push_back(ch);    //将'>'后面的'='存入token中
                code = TK_GEQ;            //单词为">="
            }    
            else {                        //>大于号
                code = TK_GT;            //单词为">"
                fseek(fp, -1L, SEEK_CUR);    //将超前读取的字符重新读取
            }
        }
        break;
        /*分界符*/
        case '(': code = TK_OPENPA;        //(左圆括号
            break;
        case ')': code = TK_CLOSEPA;    //)右圆括号
            break;
        case '[': code = TK_OPENBR;        //[左中括号
            break;
        case ']': code = TK_CLOSEBR;    //]右中括号
            break;
        case '{': code = TK_BEGIN;        //{左大括号
            break;
        case '}': code = TK_END;        //}右大括号
            break;
        case ',': code = TK_COMMA;        //,逗号
            break;
        case ';': code = TK_SEMOCOLOM;    //;分号
            break;
        //未识别符号
        default: code = TK_UNDEF;
        }
        print(code);                //打印词法分析结果
    }
}

int main()
{
    string filename;        //文件路径
    FILE* fp;                //文件指针
    cout << "请输入源文件名：" << endl;
    while (true) {
        cin >> filename;        //读取文件路径
        if ((fopen_s(&fp,filename.c_str(), "r"))==0)        //打开文件
            break;
        else
            cout << "路径输入错误！" << endl;    //读取失败
    }
    cout << "/=***************************词法分析结果***************************=/" << endl;
    lexicalAnalysis(fp);        //词法分析
    fclose(fp);                    //关闭文件
    SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_RED | FOREGROUND_GREEN | FOREGROUND_BLUE);    //字体恢复原来的颜色
    return 0;
}
 

bug小志同学
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
编译原理词法分析程序代码
05-25
这是我自己写的编译原理词法分析程序代码，功能应该比较全，使用是在“test.txt"文本中输入要分析的程序代码段，程序运行后会，会把结果输入不同的文本中，其中“Operator.txt"为运算符，“LimitSign.txt"为界限符...."error.txt"为输入的错误。
【编译原理】词法分析器代码分析报告
慢热型网友的博客
06-08 2028
该词法分析器基于状态转换图进行设计。
编译原理词法分析实验代码（C/C++实现）
薛崇祥的博客
05-03 5822
临时写了一个词法分析的代码，大概可以分析所有C语言程序吧，反正可以分析它自己，有较强的可维护性，时间空间效率都不低，采用一个类似字典树的结构（可能类似自动机），可处理任意长度的分界符识别，单双引号中的反斜杠转义字符也可处理。报错位置合理，信息清晰。muuuuuuuuuuuuuua！ #include<bits/stdc++.h> using namespace std; const i...
编译原理 词法分析 源代码
GJ_007的博客
03-16 3063
#include&lt;iostream&gt;#include&lt;string&gt;#include&lt;fstream&gt;#include&lt;vector&gt;// C++中的一种数据结构,确切的说是一个类.它相当于一个动态的数组,当程序员无法知道自己需要的数组的规模多大时,用其来解决问题可以达到最大节约空间的目的.using namespace std;vector &lt...
编译原理-词法分析器代码分析报告
呆萌小新@渊洁的博客
05-04 1926
该词法分析器基于状态转换图进行设计。首先画出识别特定单词的状态转换图并编写对应的单词识别程序，然后把不同的状态转换图合并为完整的状态转换图，并编写对应的完整的识别程序。完整的识别程序中，根据输入字符的不同调用识别不同单词的程序。 其中以 “//abcd\na=1”为例 首字符识别为 /,进入注释除号判断操作,取容器中下一位元素而不删除当前元素
编译原理实验词法分析器
01-02
编译原理实验词法分析器 本实验的目的是设计和实现一个词法分析器，以加深对词法分析过程的理解，并掌握词法分析方法。实验中，我们将使用 C 语言实现一个简单的词法分析器，能够识别和分析 C 语言源程序中的单词...
编译原理 词法分析 代码
04-11
《编译原理——词法分析实现》 在计算机科学领域，编译原理是研究如何将高级编程语言转换为机器可理解的低级语言的过程。在这个过程中，词法分析是第一步，它负责从源代码中识别出有意义的元素，即单词符号，为后续...
编译原理实验报告-词法分析
01-14
《编译原理实验报告-词法分析》 在编译领域，词法分析是构建编译器的关键步骤之一，它负责将源代码分解成一个个独立的、有意义的符号，即“单词”或“记号”。本实验的目标在于帮助学生深入理解词法分析在编译程序...
编译原理——词法分析器（C/C++代码实现）
qq_58773908的博客
01-01 4700
编译原理实验：实验一：词法分析器编写识别单词的词法分析器，控制台输出识别出的每个单词。内含实验代码。实验报告下载链接。
编译原理--词法分析实验(含代码)
11-27
掌握计算机语言的词法分析程序的开发方法。 编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。
编译原理词法分析器（C++版）源代码
01-05
自己实现的编译原理的词法分析器，是自己的实验作业，用Vs2017实现，可以直接运行，代码注释丰富，希望与大家交流学习！欢迎大家下载！
编译原理课程设计-词法分析器(附含源代码)
12-03
编译原理课程设计-词法分析器(附含源代码)
编译原理词法分析器实验报告含源代码状态转换图
01-07
编译原理词法分析器实验报告含源代码，还有状态转换图。C语言实现
编译原理--词法分析器+语法分析器 源代码
01-07
词法分析器：1) 定义目标语言的可用符号表和构词规则； 2) 依次读入源程序符号，对源程序进行单词切分和识别，直到源程序结束； 3) 对正确的单词，按照它的种别以的形式保存在符号表中； 4) 对不正确的单词，做出错误处理。 算符优先算法： 若输入文法： E->E+T | T T->T*F | F F-> (E) | i 根据算符优先分析法，将赋值语句进行语法语义分析，翻译成等价的一组基本操作，每一基本操作用四元式表示
【编译原理】词法分析（C/C++源代码+实验报告）
热门推荐
xtcc的博客
10-13 8万+
文章目录1 实验目的和内容1.1实验目的1.2实验内容2 设计思想2.1单词种类及其正规式2.2 根据正规式构造NFA2.3根据NFA构造DFA2.3.1根据替换规则构造未化简的DFA2.3.2最小化DFA3算法流程4源程序5调试数据5.1 测试样例一5.2 测试样例二5.3 测试样例三6实验调试情况及体会6.1 实验调试情况6.2 实验体会 1 实验目的和内容 1.1实验目的 （1）根据 PL/0 语言的文法规范，编写PL/0语言的词法分析程序；或者调研词法分析程序的自动生成工具LEX或FLEX，设计并实
【编译】词法分析
MMomega的手记
11-04 1207
编译原理 词法分析
编译原理———词法分析器
我的博客
03-24 6920
设计并实现一个包含预处理功能的词法分析程序，加深对编译中词法分析过程的理解。
编译原理之词法分析实验（附完整C/C++代码与总结）
最新发布
人生处处是围城，一切都是最好的安排！
05-23 7223
编译原理之词法分析实验，附完整详细代码与测试结果，最后有整体代码思路总结
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值