词法分析器 （SNL语言） 自己写的，拿出来大家一起分享，指正

最新推荐文章于 2022-05-22 22:48:29 发布
最新推荐文章于 2022-05-22 22:48:29 发布
阅读量3.5k 收藏 19
点赞数 2
文章标签： 语言 token fp insert c struct
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/green_tea_happy/article/details/2212763
版权

自己实验课写的一个词法分析程序，针对SNL语言的，有兴趣的看一下，单文件，可能不是很清晰，先对付看吧，有时间我再把他改一下

 #include<stdio.h>
#include<string.h>
#include <stdlib.h>

      /**********************类型定义*************************/
      /*标识符(BSF)　1 -------常量(CL)　2---------- 分符隔(FJF)3------ 保留字(BLZ) 10 ------------*/
      /*错误  (CW)  100-----双分界符:=(SFJF)4------程序结束标志(CXJS)6------数组下表(SZXB)7------*/
      /**************************************************************/
struct TOKEN                                                    //token序列结构
{
 int line;                                                   //行号
 char str[20];                                               //用来存字符串本身
 int type;                                                   //存储类型
};
const int maxnum_que=30;                                        //定义队列最多容纳字符
struct queue
{
 void insert(char ch);      //向队列尾插入一个字符
 void ini();                //队列初始化函数
 void delet();            //删除队列头元素
 char view_head();          //查看队列头元素
 bool empty();              //判断队列是否为空
 void clear();              //清空队列
 int count;                 //对里元素计数
 int rear;                  //队尾
 int head;                  //对头
 char a[maxnum_que];
};
bool lookup(char* str);                               //查找是否是保留字
void insert_token(int line,int stat,queue store,TOKEN token[],int count,int p_token);
void send_error(int line,char ch);                               //发送错误消息
void getTokenlist();  
//****************************************************************************************************
const int baol_n=21;
char * baoliuzi[baol_n]={"char","int","var","program","integer","procedure","array","begin","while","if",
"then","else","endwh","end","read","of","record","fi","return","write","type"};                      //个数未必是二十，查找时注意????????????????????????没完
bool lookup(char* str)                                          //查找是否是保留字
{
 int i;
 bool m=false;
 for(i=0;i<baol_n;i++)
 {
  if(strcmp(str,baoliuzi[i])==0)
  {
   m=true;
   break;
  }
 }
 return m;
}
//queue 结构里的函数声明///
void queue::clear()
{
 count=head=rear=0;
}
void queue::ini()
{
 count=head=rear=0; 
}
void queue::delet()
{
 if(count<=0)
  printf("队列里已经没有字符可以删除!!!!!!!!!!!!!!/n");
 else
 {
  head++;
  if(head>=maxnum_que)
   head=head%maxnum_que;
  count--;
 }
}
char queue::view_head()
{
 if(count>0)
  return a[head];
 else
  printf("没有字符可以查看!!!!!!!!!!!/n");
}
bool queue::empty()
{
 if(count<=0)
  return true;
 else
  return false;
}
void queue::insert(char ch)
{
 if(count>=maxnum_que)
  printf("队列已满 缓冲区溢出!!!!!!!!!!!!!!!!!!!/n");
 else
 { 
  a[rear]=ch;
  rear++;
  if(rear>=maxnum_que)
   rear=rear%maxnum_que;
  
  count++;
 }
}
///*******************************************************************************************//
void insert_token(int line,int stat,queue store,TOKEN token[],int count,int p_token,int type)
{
 token[p_token].line=line;                                  
 switch(stat)
 {
 case 1:
  token[p_token].type=1;
  break;
 case 2:
  token[p_token].type=2;
  break;
 case 3:
  token[p_token].type=3;
  break; 
 case 5:
  token[p_token].type=4;
  break;
 case 6:
  token[p_token].type=5;
  break;
 case 7:
  token[p_token].type=6;
  break;
 case 8:
  token[p_token].type=7;
  break;
 }
 int q,m;
 for(int i=0;i<count;i++)
 {
  q=store.head;
  m=q+i;
  if(m>=maxnum_que)
   m%=maxnum_que;
  token[p_token].str[i]=store.a[m];
 }
 token[p_token].str[i]='/0';
 token[p_token].type=type;
 if(type==1)
 {
  if(lookup(token[p_token].str))
   token[p_token].type=10;
 }
}
//**************************************************************************************************
void getTokenlist()                                              //获取token 序列
{ 
 char ch;                                                     //用来读取字符 
 int line;                                                    //记录当前行数
 int stat;                                                    //标志状态
 line=1;                                                      //初始在第一行
 stat=0;                                                      //初始状态
 TOKEN token[3000];                                          //长度为10000的结构数组
 int p_token;                                              //标志着token存到第几个
 p_token=0;
 FILE * fp;
    if((fp=fopen("source.txt","r"))==NULL)
  printf("打开文件出错　！！！！！！！！！！！！/n");

 queue linshi,store;                                           //声明两个队列
 linshi.ini();
 store.ini();
    ch=fgetc(fp);
 //printf("%c",ch);


 linshi.insert(ch);
 int type;
 while(stat!=14)
 {
  if(stat!=0)           
  {
   char temp;
   temp=linshi.view_head();
   switch (stat)                                        // 队列操作，给出下一个状态  还是原来的状态则取新的，删除旧的，否则只改变状态
   {
    case 1:
     if(((temp>='A'&&temp<='Z')||(temp>='a'&&temp<='z'))||(temp>='0'&&temp<='9'))//还是标示符
     {
      store.insert(temp);
      //printf("count=%d/n",store.count);
      linshi.delet();
      ch=fgetc(fp);
      if(ch!=EOF)
      {
       //printf("%c",ch);
      
       linshi.insert(ch);
      }
      else
       stat=14;
     }
     else                                              //不是标示附
     {
      stat=13;                                      //转到结束状态
      type=1;
     }
     break;
    case 2:
     if(temp>='0'&&temp<='9')                           //还是数字
     {
      store.insert(temp);
      linshi.delet();
      ch=fgetc(fp);
      if(ch!=EOF)
      {
       //printf("%c",ch);
      
       linshi.insert(ch);
      }
      else
       stat=14;
     }
     else                                               //不是数字，转到结束状态
     {
      stat=13;
      type=2;
     }
     break;
    case 3:
     stat=13;
     type=3;
     break;
    case 4:
     if(temp=='=')
     {
      stat=5;
      store.insert(temp);
      linshi.delet();
      ch=fgetc(fp);
      if(ch!=EOF)
      {
       //printf("%c",ch);
      
       linshi.insert(ch);
      }
      else
       stat=14;
     }
     else
     {
      send_error(line,temp);
      stat=13;
      type=100;                                       //错误状态
     }
     break;
    case 5:
     stat=13;
     type=4;
     break;
    case 6:
     if(temp!='}')
     {
      linshi.delet();
      ch=fgetc(fp);
      if(ch!=EOF)
      {
       //printf("%c",ch);
       if(ch=='/n')
        line++;
       linshi.insert(ch);
      }
      else
       stat=14;     
     }
     else
     {
      linshi.delet();
      ch=fgetc(fp);
      if(ch!=EOF)
      {
       //printf("%c",ch);
      
       linshi.insert(ch);
      }
      else
       stat=14; 
      stat=13;
     }
      break;
    case 7:
     if(temp=='.')
     {
      stat=8;
      store.insert(temp);
      linshi.delet();
      ch=fgetc(fp);
      if(ch!=EOF)
      {
       //printf("%c",ch);
      
       linshi.insert(ch);
      }
      else
       stat=14;
     }
     else
     {
      stat=13;                             ///程序结束标志
      type=6;
     }  
     break;
    case 8:
     stat=13;
     type=7;
     break;   
   }
  }
  if(stat==0)                   //如果是s0的话则表明重新开始读                          要给出下一个状态
  {
   char c=linshi.view_head();
   if((c>='A'&&c<='Z')||(c>='a'&&c<='z'))// 说明是标示附
   {
    stat=1;
    store.insert(c);
    linshi.delet();
    ch=fgetc(fp);
    if(ch!=EOF)
    {
     //printf("%c",ch);
     
     linshi.insert(ch);
    }
    else
     stat=14;
   }
   else if(c>='0'&&c<='9')//说明是数字
   {
    stat=2;
    store.insert(c);
    linshi.delet();
    ch=fgetc(fp);
    if(ch!=EOF)
    {
     //printf("%c",ch);
     
     linshi.insert(ch);
    }
    else
     stat=14;
   }
   else if(c=='+'||c=='-'||c=='*'||c=='/'||c=='('||c==')'||c==';'||c=='['||c==']'||c=='='||c=='<')
   {
    stat=3;
    store.insert(c);
    linshi.delet();
    ch=fgetc(fp);
    if(ch!=EOF)
    {
     //printf("%c",ch);
     
     linshi.insert(ch);
    }
    else
     stat=14;
   }
   else if(c==' '||c=='/n'||c=='/t')
   {
    if(ch=='/n')
     line++;
    stat=13;
    linshi.delet();
    ch=fgetc(fp);
    if(ch!=EOF)
    {
     //printf("%c",ch);
     
     linshi.insert(ch);
    }
    else
     stat=14;
   }
   else if(c==':')
   {
    stat=4;
    store.insert(c);
    linshi.delet();
    ch=fgetc(fp);
    if(ch!=EOF)
    {
     //printf("%c",ch);
     
     linshi.insert(ch);
     
    }
    else
     stat=14;
   }
   else if(c=='{')
   {
    stat=6;
    //store.insert(c);
    linshi.delet();
    ch=fgetc(fp);
    if(ch!=EOF)
    {
     //printf("%c",ch);
     linshi.insert(ch);
    }
    else
     stat=14;
   }
   else if(c=='.')
   {
    stat=7;
    store.insert(c);
    linshi.delet();
    ch=fgetc(fp);
    if(ch!=EOF)
    {
     //printf("%c",ch);
     
     linshi.insert(ch);
    }
    else
    {
     stat=14;
     
    }
   }
   else                                             //其它的类似逗号之类的错误
   {
    send_error(line,c);
    linshi.delet();
    ch=fgetc(fp);
    stat=13;
    if(ch!=EOF)
    {
     //printf("%c",ch);
     
     linshi.insert(ch);
    }
    else
     stat=14;

   }
  }
  if(stat==13)
  {
   if(!store.empty())
   {
    insert_token(line,stat,store,token,store.count,p_token,type);
    
    p_token++;
    
   }   
   store.clear();    
   stat=0;
  }
  if(stat==14)
  {
   if(!store.empty())
   {
    insert_token(line,stat,store,token,store.count,p_token,type);
    store.clear();
    p_token++;
    //break;
   }
  }
 }
 if(fclose(fp)==EOF)
  printf("关闭文件出错  !!!!!!!!!!! /n");

 FILE *fpp=fopen("token.txt","w");

 
 /*printf("/******************************类型定义********************************/n"); //屏幕输出
    printf("/*标识符1-----常量2------分符隔3------保留字10-------错误 100------/n");
 printf("双分界符:=4-----注释头符号5-----程序结束标志6------数组下表7------*/n");
    printf("/********************************************************************/n");
 printf("行号 类型  字符串/n");
 for(int j=0;j<p_token;j++)
  printf("%d    %d    %s     /n",token[j].line,token[j].type,token[j].str);*/
 fprintf(fpp,"/******************************类型定义********************************//n");
    fprintf(fpp,"/*标识符1-----常量2------分符隔3------保留字10-------错误 100-------/n");
 fprintf(fpp,"双分界符:=4-----注释头符号5-----程序结束标志6------数组下表7------*//n");
    fprintf(fpp,"/********************************************************************//n");
 fprintf(fpp,"行号 类型  字符串/n");
 for(int p=0;p<p_token;p++)
  fprintf(fpp,"%d    %d    %s     /n",token[p].line,token[p].type,token[p].str);
}
void send_error(int line,char ch)
{
 printf("在        第 %d   行          字符  %c        有错误!!!!!!!!!!!!!!!!!!!!!!!!!!!/n",line,ch);
}


//****************************************************************************************************
void main()
{
 getTokenlist();
}

green_tea_happy
关注
  • 2
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java实现snl语法分析_使用antlr4及java实现snl语言的解释器
weixin_39995943的博客
02-24 229
其实我对于antlr4的理解也仅限于那篇文章的范围，但那些内容对于我们实现一个SNL语言已是足够了。简单说来，这是一个非常简单的结构化编程语言，它包含了一个编程语言应该有的最基本的东西，同时基本上不包含其它的所谓先进的元素。首先贴一下文法(我对原始的文法做了一些调整，如：原始的文法中if语句的else部分不是可选的，原始文法中record类型内部只能有基础类型或array类型，等等。但我所做的这些...
课程设计SNL语言词法/语法分析中遇到的坑
萝卜的菜鸟机场
06-12 3473
在文件指针指向EOF时，seekg()函数已经不好用了，可以in.clear()清除流，或者找别的方法解决。 不要相信书上的predict集合，很多坑等着你跳。 使用Boost库，好多好用的轮子。 最好不要using namespace xxx; 文件用完一定要in.close(),不然就算直接打开别的文件，in这个文件指针也会有问题。
SNL语言词法编译器----编译原理课程设计1
coding_diamond的博客
04-12 4755
主要思路：从一个文件中，得到一个个的字符，然后对字符进行判断处理，在判断的时候会用到DFA（有限自动机）进行状态之间的转换。 得到的单词主要分为几种类型：标识符、保留字、数字、标点符号、将他们分别进行处理，整理后放在一个token序列中。 token主要由两个部分组成：1）类型 2）内容 程序用到的知识点： 1）C语言文件的读写 举例： if ((fw = fopen("D:\\...
SNL编译器之词法分析器
wanywhn的博客
05-23 4711
这是什么 这是吉林大学编译原理的课程设计。想必来到这里的看客手头都应该有那本实验书，故背景就不多讲了。 词法分析如何做 一个语言规定好了该语言中都有那些词素，诸如保留字、特殊符号（+，-之流）等。在我们做词法分析的时候应该提前了解这些，所幸实验书中给的信息已经十分详尽。 在书中有一个词法分析的状态机，列出了SNL语言所能识别的所有词素。故重点在于实现该状态机。状态机的实现书中给了两...
我的第一个系统软件：SNL语言编译器
lauo1188的专栏
05-03 2931
我的第一个系统软件：SNL语言编译器 这五一的三天一直在忙SNL语言编译器的中间代码/目标代码生成器。到现在这个时候，终于完成了V8.0发布版了。这三天没日没夜地干，真是一个字：爽！编译器是一种系统软件，对于软件开发起着至关重要的基础作用。很难想像，发果计算机没有一个成熟的编译器的话，那么电脑用起来还能这么得心应手吗？甚至的可以说，微软之所以成功，一是其实现
SNL.rar_SNL_SNL Analyzer_词法分析器
09-24
《SNL Analyzer：深入理解C语言编写的词法分析器》 在计算机科学领域，编译器和解释器是至关重要的工具，它们负责将高级语言转换为机器可执行的指令。其中，词法分析器（又称扫描器）是编译器的第一步，它将源代码...
编译原理 词法分析器 lex词法分析器 pl语言词法分析器
07-26
在编程领域，编译原理是理解计算机语言处理过程的关键部分...通过使用`flex`生成词法分析器，结合`bison`进行语法分析，开发者能够自定义编程语言的解析规则，深入理解编译器的工作原理，并且能够创建自己的解析工具。
编译原理：手工构造TINY语言的词法分析器.zip
05-07
在这个主题中，我们将深入探讨“手工构造TINY语言的词法分析器”的相关知识点，主要围绕C/C++实现、TINY语言的特性、词法分析器的构造方法以及数据结构与数据类型的运用。 首先，我们要理解什么是TINY语言。TINY是...
snl语言的词法语法分析器python实现
04-25
3. **结合词法和语法分析**：当词法和语法分析器准备好后，我们可以将它们结合在一起，对SNL源代码进行解析。例如： ```python def parse_snl(code): lexer.input(code) tokens = [] for token in lexer: ...
编译原理-基于tiny语言的词法分析器
最新发布
04-24
编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法...
SNL语言编译器安装包（内含VC6.0源代码及SNL语言例子）
05-09
里面就是一个安装程序。 安装结束之后，可以看到编译器的快捷方式出现在桌面上。 在菜单中可以看到“SNL语言编译器”。 在那里也可以看到 “SNL语言的例子”、“SNL语言编译器VC6.0版源代码”等文件快捷方式。 安装过程中，它会完成“SNL语言编译器”运行的所有必需元素的拷贝工作。如把中间代码汇编所需的masm.exe 及link.exe拷贝到C：/windows/system32文件夹中。 ------ 一经安装，完成所有功能的集成。 另： SNL语言是我们学校为了方便编译原理教学而自定义的一门类pascal编程语言.这门语言主要特点是支持过程的嵌套声明，支持纪录（类似于C中的结构体），支持数组类型，支持字符类型，支持无符号整数类型。有基本的条件判断语句，循环语句。对于过程而言，定义了传址类型的参数（类似于C++的引用类型）。 我已经完整实现了从词法分析一直到中间代码/目标代码生成的完整的编译器功能。 由于大量采用了软件工程的编程思想。每个工程的源代码组织结构相当清晰，思路较为明朗。这都是十分值得借鉴的
snl递归语法java,对SNL语言的解释器实现尾递归优化
weixin_35772420的博客
03-10 79
对于SNL语言解释器的内容可以参考我的前一篇文章《使用antlr4及java实现snl语言的解释器》。此文只讲一下“尾递归优化”是如何实现的——“尾递归优化”并不是一个语言实现必须要做的，但这是一个比较有趣的东西，所以我还是想拿来讲一讲。在前一篇文章中有一个例子：program recursionprocedure f(integer d);beginwrite(d);f(d + 1)endbeg...
编译原理SNL语言编译器实验报告
m0_46475420的博客
05-22 2411
完成实验内容 实验要求： （1）设计并实现SNL程序设计语言的编译程序 （2）四个必做： 词法分析模块 语法分析模块（递归下降方法） 语法分析模块（LL(1)方法） 语义分析模块 （3）编程语言不限 小组成员任务完成情况 姓名 具体完成任务 工作量占比 语法分析程序（递归下降法和LL1） ...
Free Pascal保留字
gsls200808的专栏
04-04 1677
本文参考FPC 3.0版的Language reference guide 保留字是Pascal程序语言的一部分，正因为如此，它不能在程序中被重新定义。他们在IDE中会用加粗字体表示，也就是大多数IDE的语法高亮功能。Pascal对大小写不敏感。 Free Pascal将保留字分为Turbo Pascal保留字和Delphi保留字。在TP(Turbo Pascal)模式下，只有Turbo Pa
SNL语言词法分析与语法分析程序-java
qq_36314274的博客
07-09 1581
程序运行截图： 源代码：链接：https://pan.baidu.com/s/13QzxEVy28m7MpmiUIrJykA 提取码：5hz3
SNL语法分析器以及语法树的绘画
李世操的空间
04-27 7019
前几天做了语法分析器，，，最近才有时间发表出来 总共有四个包，12个类， common包主要是公用的变量和公用类： Enum（是枚举类型的类） Error（表示错误的类） Node（词法token节点） Predict（predict集的数据结构） SNLPredict（SNL的predict集） production（产生式的数据结构） SNLproduction（
可视化SNL词法分析器
无情时代
05-14 1945
可视化SNL词法分析器下载： http://download1.csdn.net/down3/20070514/14193920683.exe代码：窗体设计代码using System;using System.Drawing;using System.Collections;using System.ComponentModel;using System.Windows.Forms;us
SNL文法的词法分析器
kyt511的专栏
06-14 5260
知道文法规则后，我们就要分析出其中的所有的符号、操作符、标示符（id）、字面值(nb)、以及关键字。其中符号、操作符、关键字都是一符一类，我们需要写程序分析每一个字符，最终得到一个token序列，标示符表及字面值表。闲话少说，看代码（下面程序使用vs2013编译） #define _CRT_SECURE_NO_WARNINGS #include #include #include #in
编译原理：SNL语言语法分析器Java实现
qq_36795903的博客
05-02 1625
SNL语言语法分析器 很详细

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值