编译原理实验词法分析简单实现(一)

最新推荐文章于 2022-11-17 14:24:45 发布
最新推荐文章于 2022-11-17 14:24:45 发布
阅读量946 收藏 7
点赞数 5
分类专栏： 编译原理 词法分析 c++ 文章标签： 编译器 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47177533/article/details/121830357
版权

词法分析

主函数

主程序首先输入你要分析的程序，调用cifa()函数，对输入的程序逐个进行分析

int main()
{
    cout<<"请输入一段程序:"<<endl;
    cin.getline(str,1000);
    cout<<str<<endl;
    eof = strlen(str);
    while(forward<eof){
        cifa();
    };
    char token[1024];
    memset(token,0,sizeof(token));
    copytoken(token);
    install(token,flag);
}

全局变量

主要是懒得传递参数了，大伙可不要学我。。。

//词法中定义的全局变量：
//lex代表开始指针，forward代表向前指针，eof指的是结束的地方，都用int表示
int lexeme_beginning = 0,forward = 0,eof = 0;
//sum代表总共识别处理的符合个数，flag代表当前识别的符号类型
int sum = 0,flag = 0;
//charstack代表把识别出来的符号放入栈中
char charstack[1024][15];
//leixingma记录类型码
int leixingma[1024];
//str就是输入的字符串，代表缓冲序列
char str[Maxn];

额外方法(简单方法)

void install_id(char* token){
    printf("标识符:");
    sum++;
    leixingma[sum-1] = 1;
    cout<<token<<endl;
}
void install_num(char* token){
    printf("数字:");
    sum++;
    leixingma[sum-1] = 2;
    cout<<token<<endl;
}
void install_cha(char* token){
    printf("运算符:");
    sum++;
    leixingma[sum-1] = 3;
    cout<<token<<endl;
}
void install(char *token,int flag){
    if(flag == 1)
        return install_id(token);
    if(flag == 2)
        return install_num(token);
    if(flag == 3)
        return install_cha(token);
    else
        return ;
}
//从输入缓冲区读入一个字符放入ch
char getchar1(){
    char ch;
    if(forward == eof){
        return ' ';
    }
    ch = str[forward];
    ++forward;
    return ch;
}
//将向前指针回退一个字符，将ch置为空白符
void retract(int i,char ch){
    forward -= i;
    ch = ' ';
}
//将lex和forward之间的字符整出来！
char* copytoken(char *token){
    //cout<<lexeme_beginning<<forward<<endl;
    char st[1024];
    memset(st,0,sizeof(st));
    for(int i = 0;i<forward-lexeme_beginning;i++){ // 0 - 5
        st[i] = str[lexeme_beginning+i];
    }
    lexeme_beginning = forward;
    strcpy(token,st);
    strcpy(charstack[sum],st);
    return token;
}
//查看是digit还是alpha
int check(char ch){
    if(isalpha(ch))
        return 1;
    if(isdigit(ch))
        return 2;
    return 0;
}

词法分析方法

原理：（韩老师上课的ppt）

不过只能识别图中这些符号，我还加上了{和}这两个符号，大伙也可以将#等符号添加进去识别，所以如果识别不了同学们想要的符号的话可以自行添加即可！

image-20211209162142574

void cifa(){
    char ch;
    char token[1024];
    memset(token,0,sizeof(token));
    ch = getchar1();
    if(ch ==' '||ch =='\t'||ch =='\n'){
            //retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 0;
        return ;
    }
    else if(isalpha(ch)&&(flag==0||flag==1)){
        flag = 1;
        return ;
    }
    else if(isalpha(ch)&&(flag==2||flag==3)){
        retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 1;
        return ;
    }
    else if(isdigit(ch)&&(flag == 1||flag == 2)){
        flag = flag;
        return ;
    }
    else if(isdigit(ch)&&(flag == 0)){
        flag = 2;
        return ;
    }
    else if(isdigit(ch)&&(flag==3)){
        retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 2;
        return ;
    }else if(flag==2||flag==1){
        retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 3;
        return ;
    }else if(flag == 3||flag == 0){
        char ss[1024];
        memset(ss,0,sizeof(ss));
        switch(ch){
        case '*':
            ch = getchar1();
            if(ch == '*'){
               // s.push(ch);
                strcpy(ss,"  EXP");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }
            else{
                retract(1,ch);
                strcpy(ss,"  MULTI");
                strcat(copytoken(token),ss);
                //s.push(ch);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case ':':
            ch = getchar1();
            if(ch == '='){
                strcpy(ss,"  ASSIGN");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }
            else{
                retract(1,ch);
                strcpy(ss,"  COLON");
                strcat(copytoken(token),ss);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case '<':
            ch = getchar1();
            if(ch == '='){
                strcpy(ss,"  LE");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }
            else if(ch == '>'){
                strcpy(ss,"  NE");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }else{
                retract(1,ch);
                strcpy(ss,"  LT");
                strcat(copytoken(token),ss);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case '=':
            strcpy(ss,"  EQ");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '>':
            ch = getchar1();
            if(ch == '='){
                strcpy(ss,"  GE");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }else{
                retract(1,ch);
                strcpy(ss,"  GT");
                strcat(copytoken(token),ss);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case '+':
            strcpy(ss,"  PLUS");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '-':
            strcpy(ss,"  MINUS");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '/':
            strcpy(ss,"  RDIV");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case ',':
            //s.push(ch);
            strcpy(ss,"  COMMA");
            strcat(copytoken(token),ss);
            return install_cha(token);
            break;
        case ';':
            strcpy(ss,"  SEMIC");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '(':
            strcpy(ss,"左括号");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case ')':
            strcpy(ss,"右括号");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '{':
            strcpy(ss,"左括弧");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '}':
            strcpy(ss,"右括弧");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        default:
            printf("error!,退出程序!");
            exit(0);
        }
        return ;
    }
}

总结

缺点：

1：C++较难识别’\n’这个符号，所以在输入程序的时候要将其‘一行化’

2：并没有实现对关键词的识别，即若有符号for，则其会将for看成一个标识符而不是关键词，这点需要根据你们的需要定义

3：肯定还有别的但我现在还没想到(控制台页面？)

还是建议用python写

测试

测试用例：

for(int i = 0 ;i <= n;i++) { a = b + c;}

image-20211209162656381

完整程序（韩老师会不会查重？）

#include <bits/stdc++.h>
#include <ctype.h>
#include <string.h>
using namespace std;
#define Maxn 1024
//stack<char>s;
//测试用例：
//for(int i = 0 ;i <= n;i++) { a = b + c;}
//词法中定义的全局变量：
int lexeme_beginning = 0,forward = 0,eof = 0;
int sum = 0,flag = 0;
char charstack[1024][15];
int leixingma[1024];
char str[Maxn];
//语法中定义的全局变量：
int n = 0;
void install_id(char* token){
    printf("标识符:");
    sum++;
    leixingma[sum-1] = 1;
    cout<<token<<endl;
}
void install_num(char* token){
    printf("数字:");
    sum++;
    leixingma[sum-1] = 2;
    cout<<token<<endl;
}
void install_cha(char* token){
    printf("运算符:");
    sum++;
    leixingma[sum-1] = 3;
    cout<<token<<endl;
}
void install(char *token,int flag){
    if(flag == 1)
        return install_id(token);
    if(flag == 2)
        return install_num(token);
    if(flag == 3)
        return install_cha(token);
    else
        return ;
}
//从输入缓冲区读入一个字符放入ch
char getchar1(){
    char ch;
    if(forward == eof){
        return ' ';
    }
    ch = str[forward];
    ++forward;
    return ch;
}
//将向前指针回退一个字符，将ch置为空白符
void retract(int i,char ch){
    forward -= i;
    ch = ' ';
}
char* copytoken(char *token){
    //cout<<lexeme_beginning<<forward<<endl;
    char st[1024];
    memset(st,0,sizeof(st));
    for(int i = 0;i<forward-lexeme_beginning;i++){ // 0 - 5
        st[i] = str[lexeme_beginning+i];
    }
    lexeme_beginning = forward;
    strcpy(token,st);
    strcpy(charstack[sum],st);
    return token;
}
//( a + b ) * (d - c);
int check(char ch){
    if(isalpha(ch))
        return 1;
    if(isdigit(ch))
        return 2;
    return 0;
}
void cifa(){
    char ch;
    char token[1024];
    memset(token,0,sizeof(token));
    ch = getchar1();
    if(ch ==' '||ch =='/t'||ch =='/n'){
            //retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 0;
        return ;
    }
    else if(isalpha(ch)&&(flag==0||flag==1)){
        flag = 1;
        return ;
    }
    else if(isalpha(ch)&&(flag==2||flag==3)){
        retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 1;
        return ;
    }
    else if(isdigit(ch)&&(flag == 1||flag == 2)){
        flag = flag;
        return ;
    }
    else if(isdigit(ch)&&(flag == 0)){
        flag = 2;
        return ;
    }
    else if(isdigit(ch)&&(flag==3)){
        retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 2;
        return ;
    }else if(flag==2||flag==1){
        retract(1,ch);
        copytoken(token);
        install(token,flag);
        flag = 3;
        return ;
    }else if(flag == 3||flag == 0){
        char ss[1024];
        memset(ss,0,sizeof(ss));
        switch(ch){
        case '*':
            ch = getchar1();
            if(ch == '*'){
               // s.push(ch);
                strcpy(ss,"  EXP");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }
            else{
                retract(1,ch);
                strcpy(ss,"  MULTI");
                strcat(copytoken(token),ss);
                //s.push(ch);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case ':':
            ch = getchar1();
            if(ch == '='){
                strcpy(ss,"  ASSIGN");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }
            else{
                retract(1,ch);
                strcpy(ss,"  COLON");
                strcat(copytoken(token),ss);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case '<':
            ch = getchar1();
            if(ch == '='){
                strcpy(ss,"  LE");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }
            else if(ch == '>'){
                strcpy(ss,"  NE");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }else{
                retract(1,ch);
                strcpy(ss,"  LT");
                strcat(copytoken(token),ss);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case '=':
            strcpy(ss,"  EQ");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '>':
            ch = getchar1();
            if(ch == '='){
                strcpy(ss,"  GE");
                strcat(copytoken(token),ss);
                flag = 0;
                return install_cha(token);
            }else{
                retract(1,ch);
                strcpy(ss,"  GT");
                strcat(copytoken(token),ss);
                flag = check(ch);
                return install_cha(token);
            }
            break;
        case '+':
            strcpy(ss,"  PLUS");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '-':
            strcpy(ss,"  MINUS");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '/':
            strcpy(ss,"  RDIV");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case ',':
            //s.push(ch);
            strcpy(ss,"  COMMA");
            strcat(copytoken(token),ss);
            return install_cha(token);
            break;
        case ';':
            strcpy(ss,"  SEMIC");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '(':
            strcpy(ss,"左括号");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case ')':
            strcpy(ss,"右括号");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '{':
            strcpy(ss,"左括弧");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        case '}':
            strcpy(ss,"右括弧");
            strcat(copytoken(token),ss);
            flag = 0;
            return install_cha(token);
            break;
        default:
            printf("error!,退出程序!");
            exit(0);
        }
        return ;
    }
}
int main()
{
    cout<<"请输入一段程序:"<<endl;
    cin.getline(str,1000);
    cout<<str<<endl;
    eof = strlen(str);
    while(forward<eof){
        cifa();
    };
    char token[1024];
    memset(token,0,sizeof(token));
    copytoken(token);
    install(token,flag);
}

后记

优化了一下代码，并使用QT搞了个简单的页面，需要的话可以联系邮箱

image-20211213200940534

HIT-Ministerry
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
编译原理实验1——词法分析程序设计原理与实现
weixin_51529433的博客
07-20 1万+
给出补充后描述 C 语言子集单词符号的正则文法，设计并实现其词法分析程序。
编译原理实验一 《词法分析程序设计与实现》
Atlas
05-03 1万+
编译原理实验一 《词法分析程序设计与实现》 一、实验目的 ​加深对词法分析器的工作过程的理解；加强对词法分析方法的掌握；能够采用一种编程语言实现简单的词法分析程序；能够使用自己编写的分析程序对简单的程序段进行词法分析。 二、实验内容 自定义一种程序设计语言，或者选择已有的一种高级语言，编制它的词法分析程序。词法分析程序的实现可以采用任何一种编程语言和编程工具。从输入的源程序中，识别出各个具有独立意义的单词，即关键字、标识符、常数、运算符、界符。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示
编译原理实验1——词法分析(Java代码实现)
Augenstern的博客
06-06 6699
一、 实验目的 设计并实现一个PL/0语言(或其它语言的子集,如C语言的子集)的词法分析程序，加深对词法分析原理的理解。 二、实验原理： 词法分析是从左向右扫描每行源程序的符号，拼成单词，换成统一的机内表示形式——TOKEN字，送给语法分析程序。 TOKEN字是一个二元式：（单词种别码，自身值）。PL/0语言单词的种别码用整数表示，可参考教材或自行设定；单词自身值按如下规则给出： 1 标识符的自身值是它在符号表的入口地址。 2 常数的自身值是常数本身。 3 关键字和界限符的自身值为本身。 三、 实验步骤与
编译原理词法分析程序c语言实现,编译原理之词法分析程序
weixin_33277564的博客
05-18 1202
实验课上实现了对词法分析程序的编写。整个过程中，最为困难的就是对整个编译过程的设计。在这里整理一下我的整个从设计到实现过程以及中间出现的问题。问题描述假定一种高级程序设计语言中的单词主要包括关键字begin、end、for、if、then、else；标识符；整数；六种关系运算符，试构造能识别这些单词的词法分析程序。下面是各类单词符号以及编码对应表最后我们将实现输入一段代码，然后输出键值对的形式：输...
c语言实现词法分析器
热门推荐
zmm0628的博客
11-17 3万+
词法分析器的功能:输入源程序，输出单词字符。单词字符一般可以分为下面五种。 （1）关键字 是由程序语言定义的具有固定意义的标识符。有时称这些标识符为保留字或者基本字。例如c语言中的int,char,define,strcut,double,if,else.等等 （2）标识符 用来表示各种名字，如变量名，数组名，过程名。 （3）常数 常数的类型一般有整形，实型，布尔型等 （4）运算符 如+，-，*，/。 （5）界符 如逗号，分号，括号，%，//，等。 词法分析器的目标就是把程序分成一个一个单词。并给出单词符号
编译原理实验词法分析器
01-02
编译原理实验词法分析器 本实验的目的是设计和实现一个词法分析器，以加深对词法分析过程的理解，并掌握词法分析方法。实验中，我们将使用 C 语言实现一个简单的词法分析器，能够识别和分析 C 语言源程序中的单词...
编译原理实验报告-词法分析
最新发布
01-14
《编译原理实验报告-词法分析》 在编译领域，词法分析是构建编译器的关键步骤之一，它负责将源代码分解成一个个独立的、有意义的符号，即“单词”或“记号”。本实验的目标在于帮助学生深入理解词法分析在编译程序...
编译原理实验报告(一)词法分析程序.doc
03-20
实验目标是加深对词法分析原理的理解，并掌握如何在源程序中识别这些元素。实验中，用户指定的C语言源文件被用作输入，程序会逐行读取，将字符存储到缓冲区，然后进行词法分析。 程序结构包括以下几个部分： 1. **...
编译原理实验一——C 语言词法分析器设计与实现
08-29
在编译原理中，词法分析器（也称为扫描器）是第一个处理源代码的组件。它的主要任务是： 1. **定义单词的构词规则**：词法分析器需要明确识别出构成源代码的各个元素，如关键字、标识符、常量、运算符、分隔符等。...
编译原理实验一 词法分析 从文件读取
07-29
本次实验主题是“编译原理实验一：词法分析 从文件读取”，这涉及到编译器设计的初期阶段，即源代码预处理。我们将深入探讨这个过程，并结合Java语言来讲解。 词法分析，又称扫描或词法分析器生成，是编译器设计的...
词法分析代码.rar
05-07
编译原理词法分析器实现，包括词法分析器代码实现和实验报告。代码是用C语言实现的，直接用devc++或者vc6.0打开即可编译运行。
词法分析器的设计与实现 （含贴代码截图）
06-02
源码：https://download.csdn.net/download/weixin_45627598/85595124 成绩：优秀 一、实验目的 加深对词法分析器的工作过程的理解；加强对词法分析方法的掌握；能够采用一种编程语言实现简单的词法分析程序；能够使用自己编写的分析程序对简单的程序段进行词法分析。 二、实验内容 自定义一种程序设计语言，或者选择已有的一种高级语言，编制它的词法分析程序。词法分析程序的实现可以采用任何一种编程语言和编程工具。 从输入的源程序中，识别出各个具有独立意义的单词，即关键字、标识符、常数、运算符、界符。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示） 1.对单词的构词规则有明确的定义； 2.编写的分析程序能够正确识别源程序中的单词符号； 3.识别出的单词以<种别码，值>的形式保存在符号表中，正确设计和维护符号表； 4.对于源程序中的词法错误，能够做出简单的错误处理，给出简单的错误提示 三、设计与编码 1、用一个Symbol,一个Digit map映射存储变量和常数
词法分析器的设计与实现.doc
06-26
内含代码无法运行。原理包括词法分析表的例图、标识符表结构的构造例图、类型位向量的构造说明。此报告不够严谨、细节不明确，但做上交报告应付足矣。
编译原理实验（文法的输入输出）
11-17
输入一个正则文法 输出他的终结符号 非终结符号 以及识别符号等
词法分析器设计与实现文档
05-14
词法分析器设计与实现文档
编译原理：简单词法分析器的设计与实现
Believer_YU的博客
07-13 9846
编译原理实验，实现简单的词法分析器，对简单c语言程序进行词法分析
编译原理词法分析程序
weixin_30840253的博客
06-12 260
#include <iostream> #include<string> #include<stdio.h> #include<stdlib.h> #include<ctype.h> using namespace std; #define MAX 22 char ch =' '; string key[15]={"switch",...
编译原理 词法分析（可处理注释）代码实现
weixin_44929977的博客
12-07 891
实验目的 主要是为了区分4种词（保留字（包括自定义字）、数字、字母、比较符），建立并输出token和符号表。 编译原理词法分析 Python语言实现、代码简洁且易懂 lookup_dic = {'begin': 1, 'if': 2, 'then': 3, 'while': 4, 'do': 5, 'end': 6, '+': 13, '-': 14, '*': 15, '/': 16, ':': 25, ':=': 18,
关于编辑器QScintilla（Scintilla）词法分析器工作原理的分析（实现注释区分）
biao2488890051的博客
11-17 1932
的，而QScintilla也自己提供了类似的词法分析器类，但是这些类和Scintilla那边的词法分析器是没有什么关系的，调用不到Scintilla那边的词法分析里面的内容，只能是告诉QScintilla，现在我安装了一个xx词法分析器，此时QScintilla会告诉底层Scintilla那边，给。这里我举个例，比如识别一个注释，那么如果遇到 /* 就记录当前状态为注释开始状态，当遇到 */ 时候，就切换当前状态为其它状态了，识别其它标识符，大括号啥的，也是这样的过程。这里每个状态，会用函数 sc.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值