词法分析器（c++）

已于 2022-12-12 20:04:57 修改
阅读量6.2k 收藏 108
点赞数 13
分类专栏： c++ 编译原理 文章标签： c++ 开发语言
于 2022-11-27 19:23:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yizhizhazhahui/article/details/128068138
版权


前景提示：

个人觉得单纯是用来完成实验报告的话还行，但仅做参考，因为本人的编程水平有限，怕误人子弟。

本次代码支持以下操作：

单行注释

多行注释

文件形式输入

种别码可以在文件中自由修改

单词字符串识别支持：

部分关键字（可手动在程序外部---reference.txt文件添加，），

标识符，

无符号整形数字（仅可识别整形，其他类型需要自主添加别的函数支持），

界符（，{}（）[]），

全部运算符（+、=、-、*、/、<、>，以及这些的两两组合）

代码程序：

// 编译原理词法分析器


#include <iostream>
#include <string>
#include <fstream>
#include <vector>
#include <map>
using namespace std;


string getFormFile(string filePath);
bool isLetter(char ch);
bool isNumber(char ch);
bool isOperator(char ch);
bool isDelimiter(char ch);
string rmExegesis(const string);
string rmExegesis_1(const string str);
string rmExegesis_2(const string str);


vector<string> compile();
vector<string> compile(const string originpath, const string targetpath);
map<string, string> getMap();
void showTime(map<string, string> refer, vector<string> key);

int main()
{
    map<string, string> refer = getMap();                            //从配置文件中拿到键值对

    cout << "请在文件 input.txt 中输入待编译程序" << endl;
    system("pause");
    vector<string> key = compile();                                    //拿到待识别字符
                                                            
    showTime(refer, key);
    cout << "编译成功！" << endl;
}


string getFormFile(string filePath)
{

    ifstream ifs;
    ifs.open(filePath);
    if (!ifs.is_open())
        cout << filePath << "打开失败！" << endl;

    ifs.seekg(0, ios::end);
    int size = ifs.tellg();                //得到文件大小                
    string str;
    str.resize(size);
    ifs.seekg(0, ios::beg);
    ifs.read((char*)str.c_str(), size);
    ifs.close();                        //关闭了！

    return str;
}

//单词
bool isLetter(char ch)
{
    if (ch > ('a' - 1) && ch < ('z' + 1))
        return true;
    else if (ch > ('A' - 1) && ch < ('Z' + 1))
        return true;
    else if (ch == '_')
        return true;
    else
        return false;
}

//数字
bool isNumber(char ch)
{
    if (ch > ('0' - 1) && ch < ('9' + 1))
        return true;
    else
        return false;
}

//算术运算符
bool isOperator(char ch)
{
    if (ch == '=' || ch == '+' || ch == '-' || ch == '*' || ch == '/' || ch == ':' || ch == '<' || ch == '>')
        return true;
    else
        return false;
}

//界符
bool isDelimiter(char ch)
{
    if (ch == ';' || ch == ',' || ch == '(' || ch == ')' || ch == '{' || ch == '}' || ch == '[' || ch == ']')
        return true;
    else
        return false;
}


//去单行注释函数
string rmExegesis_1(const string str)
{
    string temp = str;
    string result = temp;
    string str1;
    string str2;

    int len = temp.length();
    for (int i = 0; i < len;)
    {
        auto be = temp.find("//", i);
        auto en = temp.find("\n", be) + 1;

        if (be == string::npos || en == string::npos)
        {
            break;
        }
        str1.assign(temp, 0, be);
        str2.assign(temp, en, len - en);

        result = str1 + str2;
        temp = result;
        len = temp.length();
    }
    return result;
}

//去多行注释函数
string rmExegesis_2(const string str)
{
    string temp = str;
    string result = temp;
    string str1;
    string str2;

    int len = temp.length();
    for (int i = 0; i < len;)
    {
        auto be = temp.find("/*", i);
        auto en = temp.find("*/", i) + 2;

        if (en < be)
        {
            i = be;
            en = temp.find("*/", i) + 2;
        }

        if (be == string::npos || en == string::npos)
        {
            break;
        }
        str1.assign(temp, 0, be);
        str2.assign(temp, en, len - en);

        result = str1 + str2;
        temp = result;
        len = temp.length();
    }
    return result;
}

//去单行和多行注释
string rmExegesis(const string str)
{
    string result = rmExegesis_1(str);
    return rmExegesis_2(result);
}

vector<string> compile()
{
    string origin = "input.txt";
    string target = "output.txt";

    return compile(origin, target);
}

vector<string> compile(const string originpath, const string targetpath)
{
    string str = getFormFile(originpath);
    str = rmExegesis(str);                                        //去注释
    cout << str << endl;                                        //输出去注释之后的文本

    vector<string> v;                                            //存储字符
    int pos = 0;
    int len = str.find("#~");

    v.push_back("");
    for (int i = 0; i < len; i++)
    {
        if (str[i] == ' ' || str[i] == '\t' || str[i] == '\n')    //空格，tab键，换行键作为分割符
        {
            if (v[pos] != "")
            {
                v.push_back("");
                pos++;
            }
        }
        else if (isLetter(str[i]))
        {
            v[pos] = v[pos] + str[i];
            if (i + 1 < len && !isLetter(str[i + 1]))
            {
                v[pos] = v[pos] + "$ident";
                v.push_back("");
                pos++;
            }
        }
        else if (isNumber(str[i]))
        {
            v[pos] = v[pos] + str[i];
            if (i + 1 < len && !isNumber(str[i + 1]))
            {
                v[pos] = v[pos] + "$idconst";
                v.push_back("");
                pos++;
            }
        }
        else if (isOperator(str[i]))
        {
            v[pos] = v[pos] + str[i];

            if (i + 1 < len && isOperator(str[i + 1]))
            {
                i = i + 1;
                v[pos] = v[pos] + str[i];

                v.push_back("");
                pos++;
            }
            else
            {
                v.push_back("");
                pos++;
            }

        }
        else if(isDelimiter(str[i]))
        {
            v[pos] = v[pos] + str[i];
            v.push_back("");
            pos++;
        }
        else
        {
            v[pos] = v[pos] + str[i];
            v.push_back("");
            pos++;
        }
    }
    return v;
}

map<string, string> getMap()
{
    string str = getFormFile("reference.txt");                    //读取匹配文件
    map<string, string> refer;
    pair<string, string> p;

    string bpattern = "<reference>";
    string epattern = "</reference>";
    int ben = str.find(bpattern) + bpattern.size();
    int end = str.find(epattern);

    string key;
    string value;
    int flag1;
    int flag2;
    for (int i = ben; i < end; i++)
    {
        if (str[i] == ' ' || str[i] == '\t' || str[i] == '\n')
            continue;
        flag1 = i;
        flag2 = (str.find(' ', i) < str.find('\t', i) ? str.find(' ', i) : str.find('\t', i));
        key.assign(str, flag1, flag2 - flag1);

        flag1 = str.find('$', flag2) + 1;
        flag2 = str.find('\n', i);
        value.assign(str, flag1, flag2 - flag1);
        p = make_pair(key, value);
        refer.insert(p);
        i = flag2;
    }
    return refer;
}

void showTime(map<string, string> refer, vector<string> key)
{    
    cout << "符号\t\t\t" << "种别码\t\t\t" << "说明" << endl;
    int len = key.size();
    for (int i = 0; i < len; i++)
    {
        auto pos = key[i].find('$');
        if (pos != string::npos)
        {
            string key1;
            string key2;
            key1.assign(key[i], 0, pos);
            key2.assign(key[i], pos + 1, key[i].length() - pos);

            map<string, string>::iterator iter = refer.find(key1);
            if (iter != refer.end())
            {
                cout << key1 << "\t\t\t" << iter->second << "\t\t\t" << "关键字" << endl;
            }
            else
            {
                cout << key2 << "\t\t\t" << refer[key2] << "\t\t\t" << key1 << endl;
            }
        }
        else
        {
            if (key[i] == "")
                continue;
            cout << key[i] << "\t\t\t" << refer[key[i]] << "\t\t\t" << key[i] << endl;
        }
    }
}

运行示例：

文件结构：

e90280c51ea24c36afdd48fe9d7129bf.png

 


示例1：

input.txt文件：

begin
    begin
    
        begin 
         a:=1
         end;
         
       begin 
         b:=1
    end;
    q:=10
    end;
    
    x:=9;
    y:=11;
    z:=12
end
#~

reference.txt文件

<reference>
    if        $0
    then    $1
    else    $2
    while    $3
    begin    $4
    do        $5
    end        $6
    a        $7
    :=        $8
    +        $9
    -        $10
    *        $11
    /        $12
    +=        $13
    -=        $14
    *=        $15
    /=        $16
    ,        $17
    ;        $22
    (        $18
    )        $19
    {        $20
    }        $21
    ident    $100
    idconst    $101
</reference>

 输出

5af81a996fca4431b0c28c800ed248f2.png

 


示例2：

input.txt文件：

#include <iostream>
using namespace std;

void main()
{
    cout<<"hello world!!!"<<endl;            //单行注释在这里！！！  /*eryedhds
}
#~                        //#~为结束标志符


/*
多行注释在这里！！
asbhfafs
afs
adfsdfcdc

cs
csCSZ
C
ZXC
Scxcds    sfasf saf sd f afd sfd a14 1 411:36 2022/11/711:36 2022/11/7

wr


#~
*/

reference.txt文件

<reference>
    if        $0
    then        $1
    else        $2
    while    $3
    begin    $4
    do        $5
    end        $6
    :=        $8
    +        $9
    -        $10
    *        $11
    /        $12
    +=        $13
    -=        $14
    *=        $15
    /=        $16
    >        $30
    <        $31
    ,        $17
    ;        $22
    (        $18
    )        $19
    {        $20
    }        $21
    #        $1111
    include    $1112
    iostream    $1113
    using    $1114
    namespace    $1115
    std        $1116
    int        $1117
    main        $1118
    cout        $1119
    endl        $1120
    void        $1121
    "        $1122
    ident    $100
    idconst    $101
    !        $1123
    <<        $1124
    >>        $1125
</reference>

输出

0c56577e95c14ae99f5d91e321cb8731.png
 

 

 

 

月下闲人罢了
关注
  • 13
    点赞
  • 踩
  • 108
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
C++实现词法分析器
05-17
1、该词法分析器要求至少能够识别以下几类单词： （1）关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写； （2）标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*； （3）常数：NUM=(+ | - |ε)digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123, -123, +123等；小数，如123.45, +123.45, -123.45；科学计数法表示的常数，如+1.23e3，-2.3e-9； （4）专用符号：+ - * / < >= == != = ; , ( ) [ ] { } /* */。 2、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。 3、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。
C++ 的词法分析
天道酬勤
11-04 5093
C++ 的词法分析词法分析是指原文件被分解为词法符号的过程，通常是整个编译过程的第一步。虽然通常认为了解 C++ 的词法分析过程对于大多数一辈子都不会编写 C++ 编译器的程序员来说意义不大，但这篇文章不仅仅是为了满足某些人的好奇心而写的，因为我觉得任意一个严谨的 C++ 程序员都应该对 C++ 的词法分析有所了解，以避免一些偶然情况下会发生的错误（我们花了若干年去熟悉 C++
编译原理------词法分析器
最新发布
cjy031025_cloud的博客
06-11 1813
状态转换图，适用于手工编写词法分析器。为了词法分析器的自动生成，需要将转换图概念化，即：正规表达式、有限自动机。
c++实现词法分析器
03-24
c++ ，词法分析器， 编译原理， c语言的词法分析，代码详细，很易懂
词法分析器（c++版）
11-03
词法分析器（c++版） 词法分析程序，能识别出所有的关键字、标识符、常数、运算符（包括复合运算符，如++）、界符；能过滤掉源程序中的注释、空格、制表符、换行符等等
词法分析器C++实现
hjy9494的博客
03-03 1244
编译原理词法分析器
编译原理 词法分析器 c++实现
12-05
参考附录C.1设计一个简单语言的词法分析程序，要求能够处理换行回车、注释（自定义注释格式）、部分符合运算符（如>= 、 等）。 注意： 附录C.1采用的是控制台输入输出的方式，测试数据要用文本文件保存好。
C++实现词法分析器.zip
06-09
在这个C++实现的词法分析器中，"词法分析器C++.cpp"是源代码文件，实现了上述的词法分析功能；而"词法分析器C++.exe"是编译后的可执行文件，可以直接运行并处理输入的源代码文件；"test1.txt"则是用于测试词法分析器...
编译原理实验一 词法分析器 C++实现
07-20
编译原理实验一 词法分析器 C++实现
词法分析器 c++
10-26
在这个项目中，我们关注的是用C++实现针对PL/0语言的词法分析器。 PL/0是一种简化的编程语言，由Alfred Aho、Monica Lam、Ravi Sethi和Jeff Ullman在他们的编译器设计教科书《Compilers: Principles, Techniques, ...
C++词法分析器
03-20
这个压缩包是在下编译原理课程实验代码，用c++实现词法分析，并以窗体应用程序的形式显示出来。 实验内容及要求如下： （1）C++源代码扫描程序识别C++记号。 C++语言包含了几种类型的记号：标识符，关键字，数...
基于c++的词法分析器
11-17
基于c++的词法分析器。实现了识别保留字、标识符、常量、科学计数法、识别注释、负号的识别、标识符、分隔符、和大小括号的匹配(利用出入栈)
C++词法分析器(源代码)
10-09
自己写的实用的词法分析器 片段: #include <iostream.h> #include <iomanip.h> #include <string.h> #include <stdlib.h> const int MAX=30; const int MAXSIZE=80; char css[MAX][MAXSIZE];//存放产生式，并以'#'结束 int F[MAX][MAXSIZE];//二维数组表示FirstVT(P)表 int L[MAX][MAXSIZE];//二维数组表示LastVT(P)表 char strVN[MAX];//存放非终结符 char strVT[MAXSIZE];//存放终结符 int Priority_Table[MAX][MAX];//优先表 char Sentence[MAXSIZE];//用以存放用户从键盘上读入一个句子,最大长度不超过MAXSIZE个字符
C++词法分析器（C和C++实现）
11-09
简易版的词法分析器，老师布置的作业~~初学者也许可以稍微参考一番~~
词法分析器C++
03-30
通过编写C++代码实现词法分析器的功能，对循环语句和条件判断语句编写词法分析编译程序，只能通过一遍扫描完成。(用c++实现)
C++版本的词法分析器
10-19
用c++实现词法分析器，并且含有对字符串和注释的处理和报错
C++-c语言词法分析器
MoOtA
04-15 2369
特别的，在预处理阶段，识别单/多行注释时，遇到了一个小问题，由于要支持字符串常量和字符常量，而该常量中可能包含//，/*，导致将字符串内容识别为注释，另外，由于需要支持转义字符‘\’的存在，正确识别的字符串，也成为了一大问题，在多次修改匹配代码后，终于将问题解决。无符号十六进制整型常量，正规式为： 0(X|x)(0-9|a-f|A-F)*赋值运算符 += -= *= /= %= = &= ^= |=实验要求：无符号十进制整型常量，正规式为：(1-9)(0-9)*
词法分析器 /c++实现
weixin_34080951的博客
06-28 128
#include<iostream> #include<string> #include<vector> #include<map> #include<cstdio> #include<cstring> #include<cstdlib> using namespace std; int line=1,ro...
词法分析器 C++实现
qq_40240576的博客
10-22 742
#include&lt;bits/stdc++.h&gt; #include&lt;cstring&gt; using namespace std; //保留字表 static char reserve[32][20] = { "auto", "break", "case", "char", "const", "continue", &qu
词法分析器c++
05-30
在c++语言中，我们可以使用lex和flex工具来生成词法分析器。 lex是Unix系统下的一个词法分析器生成工具，而flex是其在Windows下的实现。使用lex/flex可以通过定义正则表达式和处理规则来生成词法分析器。以下是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值