编译原理词法分析代码

于 2024-05-24 16:43:42 发布
阅读量280 收藏 6
点赞数 3
文章标签： r语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68447809/article/details/139178670
版权

/***********************************************
* 词法分析器
* 编译环境：Visual Studio 2017
***********************************************/
#include <iostream>
#include <string>
#include <Windows.h>
using namespace std;

/* 单词编码 */
enum TokenCode
{
    /*未定义*/
    TK_UNDEF = 0,

    /* 关键字 */
    KW_VOID,    //void关键字
    KW_MAIN,    //main关键字
    KW_INT,        //int关键字
    KW_DOUBLE,    //double关键字
    KW_FOR,        //for关键字
    KW_WHILE,    //while关键字
    KW_SWITCH,    //switch关键字
    KW_CASE,    //case关键字
    KW_IF,        //if关键字
    KW_ELSE,    //else关键字
    KW_RETURN,    //return关键字

    /* 运算符 */
    TK_PLUS,    //+加号
    TK_MINUS,    //-减号
    TK_STAR,    //*乘号
    TK_DIVIDE,    ///除号
    TK_ASSIGN,    //=赋值运算符
    TK_EQ,        //==等于号
    TK_LT,        //<小于号
    TK_LEQ,        //<=小于等于号
    TK_GT,        //>大于号
    TK_GEQ,        //>=大于等于号

    /* 分隔符 */
    TK_OPENPA,    //(左圆括号
    TK_CLOSEPA,    //)右圆括号
    TK_OPENBR,    //[左中括号
    TK_CLOSEBR,    //]右中括号
    TK_BEGIN,    //{左大括号
    TK_END,        //}右大括号
    TK_COMMA,    //,逗号
    TK_SEMOCOLOM,    //;分号
    
    /* 常量 */
    TK_INT,        //整型常量
    TK_DOUBLE,    //浮点型常量

    /* 标识符 */
    TK_IDENT
};

/******************************************全局变量*****************************************************/
TokenCode code = TK_UNDEF;        //记录单词的种别码
const int MAX = 11;                //关键字数量
int row = 1;                    //记录字符所在的行数
string token = "";                //用于存储单词
char  keyWord[][10] = { "void","main","int","double","for","while","switch","case","if","else","return" };    //存储关键词

/**********************************************函数*****************************************************/

/********************************************
* 功能：打印词法分析的结果
* code：单词对应的种别码
* token：用于存储单词
* row：单词所在的行数
*********************************************/
void print(TokenCode code)
{
    
    switch (code)
    {
    /*未识别的符号*/
    case TK_UNDEF:
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_RED);    //未识别的符号为红色
        cout << '(' << code << ',' << token << ")" << "未识别的符号在第" << row << "行。" << endl;
        return;
        break;
    /*关键字*/
    case KW_VOID:        //void关键字
    case KW_MAIN:    //main关键字
    case KW_INT:        //int关键字
    case KW_DOUBLE:    //double关键字
    case KW_FOR:        //for关键字
    case KW_WHILE:    //while关键字
    case KW_SWITCH:    //switch关键字
    case KW_CASE:    //case关键字
    case KW_IF:        //if关键字
    case KW_ELSE:    //else关键字
    case KW_RETURN:    //return关键字
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_BLUE);    //关键字为蓝色
        break;

    /* 运算符 */
    case TK_PLUS:    //+加号
    case TK_MINUS:    //-减号
    case TK_STAR:    //*乘号
    case TK_DIVIDE:    ///除号
    case TK_ASSIGN:    //=赋值运算符
    case TK_EQ:        //==等于号
    case TK_LT:        //<小于号
    case TK_LEQ:    //<=小于等于号
    case TK_GT:        //>大于号
    case TK_GEQ:        //>=大于等于号

    /* 分隔符 */
    case TK_OPENPA:    //(左圆括号
    case TK_CLOSEPA:    //)右圆括号
    case TK_OPENBR:    //[左中括号
    case TK_CLOSEBR:    //]右中括号
    case TK_BEGIN:    //{左大括号
    case TK_END:    //}右大括号
    case TK_COMMA:    //,逗号
    case TK_SEMOCOLOM:    //;分号
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_GREEN);    //运算符和分隔符为绿色
        break;
        
    /* 常量 */
    case TK_INT:    //整型常量
    case TK_DOUBLE:    //浮点型常量
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_RED | FOREGROUND_GREEN);    //常量为黄色
        if(token.find('.')==token.npos)
            cout << '(' << code << ',' << atoi(token.c_str()) << ")" << endl;                        //单词为整型
        else
            cout << '(' << code << ',' << atof(token.c_str()) << ")" << endl;                            //单词为浮点型
        return;
        break;
    /* 标识符 */
    case TK_IDENT:
        SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY);    //关键字为灰色
        break;
    default:
        break;
    }
    cout << '(' << code << ',' << token << ")" << endl;
}

/********************************************
* 功能：判断是否是关键字
* MAX：关键字数量
* token：用于存储单词
*********************************************/
bool isKey(string token)
{
    for (int i = 0; i < MAX; i++)
    {
        if (token.compare(keyWord[i]) == 0)
            return true;
    }
    return false;
}

/********************************************
* 功能：返回关键字的内码值
* MAX：关键字数量
* token：用于存储单词
*********************************************/
int  getKeyID(string token)
{
    for (int i = 0; i < MAX; i++)
    {    //关键字的内码值为keyWord数组中对应的下标加1
        if (token.compare(keyWord[i]) == 0)    
            return i+1;
    }
    return -1;
}

/********************************************
* 功能：判断一个字符是否是字母
* letter：被判断的字符
*********************************************/
bool isLetter(char letter)
{
    if ((letter >= 'a'&&letter <= 'z') || (letter >= 'A' &&letter <= 'Z'))
        return true;
    return false;

}

/********************************************
* 功能：判断一个字符是否是数字
* digit：被判断的字符
*********************************************/
bool isDigit(char digit)
{
    if (digit >= '0'&&digit <= '9')
        return true;
    return false;
}

/********************************************
* 功能：词法分析
* fp：文件指针
* code：单词对应的种别码
* token：用于存储单词
* row：单词所在的行数
*********************************************/
void lexicalAnalysis(FILE *fp)
{
    char ch;            //用于存储从文件中获取的单个字符
    while ((ch = fgetc(fp)) != EOF)    //未读取到文件尾，从文件中获取一个字符
    {
        token = ch;                                    //将获取的字符存入token中
        if (ch == ' ' || ch == '\t' || ch == '\n')    //忽略空格、Tab和回车
        {
            if (ch == '\n')                            //遇到换行符，记录行数的row加1
                row++;
            continue;                                //继续执行循环
        }
        else if (isLetter(ch))            //以字母开头，关键字或标识符
        {
            token = "";                    //token初始化
            while (isLetter(ch) || isDigit(ch))    //非字母或数字时退出，将单词存储在token中
            {
                token.push_back(ch);    //将读取的字符ch存入token中
                ch = fgetc(fp);            //获取下一个字符
            }
            //文件指针后退一个字节，即重新读取上述单词后的第一个字符
            fseek(fp, -1L, SEEK_CUR);
            if (isKey(token))    //关键字
                code = TokenCode(getKeyID(token));
            else    //标识符
                code = TK_IDENT;    //单词为标识符
        }
        else if (isDigit(ch))    //无符号常数以数字开头
        {
            int isdouble = 0;    //标记是否为浮点数
            token = "";            //token初始化
            while (isDigit(ch))    //当前获取到的字符为数字
            {
                token.push_back(ch);        //读取数字，将其存入token中
                ch = fgetc(fp);                //从文件中获取下一个字符
                //该单词中第一次出现小数点
                if (ch == '.'&& isdouble == 0)
                {
                    //小数点下一位是数字
                    if (isDigit(fgetc(fp)))
                    {
                        isdouble = 1;        //标记该常数中已经出现过小数点
                        fseek(fp, -1L, SEEK_CUR);        //将超前读取的小数点后一位重新读取    
                        token.push_back(ch);            //将小数点入token中
                        ch = fgetc(fp);                //读取小数点后的下一位数字
                    }
                }
            }
            if (isdouble == 1)
                code = TK_DOUBLE;    //单词为浮点型
            else
                code = TK_INT;                //单词为整型
            //文件指针后退一个字节，即重新读取常数后的第一个字符
            fseek(fp, -1L, SEEK_CUR);
        }
        else switch (ch)
        {    
        /*运算符*/
        case '+': code = TK_PLUS;        //+加号            
            break;
        case '-': code = TK_MINUS;        //-减号
            break;
        case '*': code = TK_STAR;        //*乘号        
            break;
        case '/': code = TK_DIVIDE;        //除号
            break;
        case '=':
        {
            ch = fgetc(fp);                //超前读取'='后面的字符
            if (ch == '=')                //==等于号
            {
                token.push_back(ch);    //将'='后面的'='存入token中
                code = TK_EQ;            //单词为"=="
            }        
            else {                        //=赋值运算符
                code = TK_ASSIGN;        //单词为"="
                fseek(fp, -1L, SEEK_CUR);    //将超前读取的字符重新读取
            }
        }
        break;
        case '<':        
        {
            ch = fgetc(fp);                //超前读取'<'后面的字符
            if (ch == '=')                //<=小于等于号
            {
                token.push_back(ch);    //将'<'后面的'='存入token中
                code = TK_LEQ;            //单词为"<="
            }        
            else {                        //<小于号
                code = TK_LT;            //单词为"<"
                fseek(fp, -1L, SEEK_CUR);    //将超前读取的字符重新读取
            }
        }
        break;
        case '>':
        {
            ch = fgetc(fp);                //超前读取'>'后面的字符
            if (ch == '=')                //>=大于等于号
            {
                token.push_back(ch);    //将'>'后面的'='存入token中
                code = TK_GEQ;            //单词为">="
            }    
            else {                        //>大于号
                code = TK_GT;            //单词为">"
                fseek(fp, -1L, SEEK_CUR);    //将超前读取的字符重新读取
            }
        }
        break;
        /*分界符*/
        case '(': code = TK_OPENPA;        //(左圆括号
            break;
        case ')': code = TK_CLOSEPA;    //)右圆括号
            break;
        case '[': code = TK_OPENBR;        //[左中括号
            break;
        case ']': code = TK_CLOSEBR;    //]右中括号
            break;
        case '{': code = TK_BEGIN;        //{左大括号
            break;
        case '}': code = TK_END;        //}右大括号
            break;
        case ',': code = TK_COMMA;        //,逗号
            break;
        case ';': code = TK_SEMOCOLOM;    //;分号
            break;
        //未识别符号
        default: code = TK_UNDEF;
        }
        print(code);                //打印词法分析结果
    }
}

int main()
{
    string filename;        //文件路径
    FILE* fp;                //文件指针
    cout << "请输入源文件名：" << endl;
    while (true) {
        cin >> filename;        //读取文件路径
        if ((fopen_s(&fp,filename.c_str(), "r"))==0)        //打开文件
            break;
        else
            cout << "路径输入错误！" << endl;    //读取失败
    }
    cout << "/=***************************词法分析结果***************************=/" << endl;
    lexicalAnalysis(fp);        //词法分析
    fclose(fp);                    //关闭文件
    SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE), FOREGROUND_INTENSITY | FOREGROUND_RED | FOREGROUND_GREEN | FOREGROUND_BLUE);    //字体恢复原来的颜色
    return 0;
}
 

bug小志同学
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
编译原理词法分析程序代码
05-25
这是我自己写的编译原理词法分析程序代码，功能应该比较全，使用是在“test.txt"文本中输入要分析的程序代码段，程序运行后会，会把结果输入不同的文本中，其中“Operator.txt"为运算符，“LimitSign.txt"为界限符...."error.txt"为输入的错误。
【编译原理】词法分析器代码分析报告
慢热型网友的博客
06-08 2007
该词法分析器基于状态转换图进行设计。
编译原理词法分析实验代码（C/C++实现）
薛崇祥的博客
05-03 5807
临时写了一个词法分析的代码，大概可以分析所有C语言程序吧，反正可以分析它自己，有较强的可维护性，时间空间效率都不低，采用一个类似字典树的结构（可能类似自动机），可处理任意长度的分界符识别，单双引号中的反斜杠转义字符也可处理。报错位置合理，信息清晰。muuuuuuuuuuuuuua！ #include<bits/stdc++.h> using namespace std; const i...
编译原理 词法分析 源代码
GJ_007的博客
03-16 3053
#include&lt;iostream&gt;#include&lt;string&gt;#include&lt;fstream&gt;#include&lt;vector&gt;// C++中的一种数据结构,确切的说是一个类.它相当于一个动态的数组,当程序员无法知道自己需要的数组的规模多大时,用其来解决问题可以达到最大节约空间的目的.using namespace std;vector &lt...
编译原理-词法分析器代码分析报告
呆萌小新@渊洁的博客
05-04 1907
该词法分析器基于状态转换图进行设计。首先画出识别特定单词的状态转换图并编写对应的单词识别程序，然后把不同的状态转换图合并为完整的状态转换图，并编写对应的完整的识别程序。完整的识别程序中，根据输入字符的不同调用识别不同单词的程序。 其中以 “//abcd\na=1”为例 首字符识别为 /,进入注释除号判断操作,取容器中下一位元素而不删除当前元素
编译原理实验词法分析器
01-02
编译原理实验词法分析器 本实验的目的是设计和实现一个词法分析器，以加深对词法分析过程的理解，并掌握词法分析方法。实验中，我们将使用 C 语言实现一个简单的词法分析器，能够识别和分析 C 语言源程序中的单词...
编译原理 词法分析 代码
04-11
《编译原理——词法分析实现》 在计算机科学领域，编译原理是研究如何将高级编程语言转换为机器可理解的低级语言的过程。在这个过程中，词法分析是第一步，它负责从源代码中识别出有意义的元素，即单词符号，为后续...
编译原理实验报告-词法分析
01-14
《编译原理实验报告-词法分析》 在编译领域，词法分析是构建编译器的关键步骤之一，它负责将源代码分解成一个个独立的、有意义的符号，即“单词”或“记号”。本实验的目标在于帮助学生深入理解词法分析在编译程序...
编译原理——词法分析器（C/C++代码实现）
qq_58773908的博客
01-01 4683
编译原理实验：实验一：词法分析器编写识别单词的词法分析器，控制台输出识别出的每个单词。内含实验代码。实验报告下载链接。
编译原理课程设计-词法分析器(附含源代码)
12-03
编译原理课程设计-词法分析器(附含源代码)
编译原理——词法分析代码
05-28
⒈ 题目 编写前述PASCAL子集的词法分析程序。 １）主程序设计考虑，（参阅后面给出的程序框架） 主程序的说明部分为各种表格和变量安排空间。 数组k为关键字表，每个数组元素存放一个关键字。采用定长的方式，较短的关键字后面补空格。 P 数组存放分界符。为了简单起见，分界符、算术运算符和关系运算符都放在p表中（学生编程时，应建立算术运算符表和关系运算符表，并且各有类号），合并成一类。 id 和ci 数组分别存放标识符和常数。 instring 数组为输入源程序的单词缓存。 outtoken 记录为输出内部表示缓存。 还有一些为造表填表设置的变量。 主程序开始后，先以人工方式输入关键字，造 k 表；再输入分界符等造 p 表。 主程序的工作部分设计成便于调试的循环结构。每个循环处理一个单词；接收键盘上送来的一个单词；调用词法分析过程；输出每个单词的内部码。 ２）词法分析过程考虑 该过程取名为 lexical，它根据输入单词的第一个字符（有时还需读第二个字符），判断单词类，产生类号：以字符k表示关键字；i表示标识符；c 表示常数；p 表示分界符；s 表示运算符（学生编程时类号分别为1,2,3,4,5）。 对于标识符和常数，需分别与标识符表和常数表中已登记的元素相比较，如表中已有该元素，则记录其在表中的位置，如未出现过，将标识符按顺序填入数组 id 中，将常数变为二进制形式存入数组中 ci 中，并记录其在表中的位置。 lexical 过程中嵌有两个小过程：一个名为 getchar，其功能为从 instring 中按顺序取出一个字符，并将其指针 pint 加 1 ；另一个名为 error，当出现错误时，调用这个过程，输出错误编号。 将词法分析程序设计成独（入口）立一遍扫描源程序的结构。其流程图见图5-1。 图5-1 词法分析程序流程图 ⒉ 要求 ⑴ 所有识别出的单词都用两个字节的等长表示，称为内部码。第一个字节为 t ，第二个字节为 i 。 t 为单词的种类。关键字的 t=１；分界符的 t=２；算术运算符的 t=３；关系运算符的 t=４；无符号数的 t=５；标识符的 t=６。i 为该单词在各自表中的指针或内部码值。表 5-1 为关键字表；表 5-2 为分界符表；表 5-3 为算术运算符的 i 值；表 5-4 为关系运算符的 i 值。 表5-1 关键字表 表5-2 分界符表 指针1 关键字 指针1 分界符 0 BEGIN 0 ， 1 DO 1 ； 2 ELSE 2 . 3 END 3 := 4 IF 4 ( 5 THEN 5 ) 6 VAR 7 WHILE 表5-3 算术运算符 表5-4 关系运算符 i 值 算术运算符 i 值 关系运算符 00H < 10H + 01H 21H / 04H >= 05H 常数表和标识符表是在编译过程中建立起来的。其 i 值是根据它们在源程序中出现的顺序确定的。 ⑵ 常数分析程序、关键字和标识符分析程序、其他单词分析程序请参阅范例自行设计。 ⑶ 本实践题可通过扩充下面给出的程序框架完成。 PROGRAM plexical(input,output); LABEL l; CONST keylen=10; identlen=10; TYPE //定义的类型 tstring=ARRAY[1..identlen] OF char; outreco=RECORD//记录为输出内部表示缓存。 ty: char; point: integer; END; {outreco} VAR cip,ip,pint,i,j,l,m,errorx:integer; charl:CHAR; ci:ARRAY[1..10] OF integer; k,id:ARRAY[1..keylen] OF tstring; token:tstring; //标志符 outtoken:outreco; instring:ARRAY[1..10]OF char; p:ARRAY[1..16] OF ARRAY [1..2] OF char; PROCEDURE lexical; VAR l,m,num:integer; b: boolean; PROCEDURE
编译原理（词法分析 语法分析源代码＋报告）
05-31
一、实验目的 编制一个递归下降分析程序，实现对词法分析程序提供的单词序列的语法检查和结构分析。 二、实验要求 利用C语言编制递归下降分析程序，并对简单语言进行语法分析。 1、 用扩充的BNF表示如下 （1）：：beginend （2）：：{;} （3）:: （4）::ID:= （5）::={+|-} （6）::{*|/} （7）::ID|NUM() 2、实验要求说明 输入单词串，以”#”结束，如果是文法正确的句子，则输出成功的信息，打印”success”,否则输出”error”。 例如： 输入 begin a:=9;x:=2*3;b:=a+x end 输出 success 输入 x:=a+b*c end # 输出 error
编译原理--词法分析实验(含代码)
11-27
掌握计算机语言的词法分析程序的开发方法。 编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。
编译原理 词法分析程序 JAVA
06-26
编译原理 词法分析程序 JAVA 构造识别单词集的自动机，编写程序实现。 五、实验的处理单词集 （注：单词种类统一分类如下：） 单词符号 单词种类 任意变量名（以字母开头由字母和数字组成的符号串） 0 ( 1 ) 2 { 3 } 4 ; 5 = 6 + 7 * 8 > 9 < 10 ， 11 ‘ 12 整型常数（由数字组成的符号串） 30 main 26 int 21 if 22 then 23 else 24 return 25 其它 100 六、处理程序例和处理结果例 例1：源程序： main() { y=x-1; } 处理结果： (26,"main") (1,"(") (2,")") (3,"{") (0,"y") (6,"=") (0,"x") (100,"-") (20,"1") (5,";") (4,")") 例2：源程序 main() { int a,b; b!=a-1; } 处理结果： (26,"main") (1,"(") (2,")") (3,"{" } (21,”int”) (0,"a") (11,",") (0,"b") (5,”;”) (0,"b") (100,"! ") (6,"=") (0,"a") (100,"-") (30,"1") (5,”;”) (4,”)”)
【编译原理】词法分析（C/C++源代码+实验报告）
热门推荐
xtcc的博客
10-13 8万+
文章目录1 实验目的和内容1.1实验目的1.2实验内容2 设计思想2.1单词种类及其正规式2.2 根据正规式构造NFA2.3根据NFA构造DFA2.3.1根据替换规则构造未化简的DFA2.3.2最小化DFA3算法流程4源程序5调试数据5.1 测试样例一5.2 测试样例二5.3 测试样例三6实验调试情况及体会6.1 实验调试情况6.2 实验体会 1 实验目的和内容 1.1实验目的 （1）根据 PL/0 语言的文法规范，编写PL/0语言的词法分析程序；或者调研词法分析程序的自动生成工具LEX或FLEX，设计并实
【编译】词法分析
MMomega的手记
11-04 1200
编译原理 词法分析
编译原理———词法分析器
最新发布
我的博客
03-24 6869
设计并实现一个包含预处理功能的词法分析程序，加深对编译中词法分析过程的理解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值