javacc 词法分析

最新推荐文章于 2024-05-16 10:23:10 发布
最新推荐文章于 2024-05-16 10:23:10 发布
阅读量1.3k 收藏 22
点赞数 4
分类专栏： javacc 编译原理 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58013827/article/details/122518344
版权

javacc 词法分析

  1. 词法分析器的功能和输出格式 词法分析器的功能是读入测试源程序，输出单词序列。词法分析器的单词常 表示成二元式：(单词种别码，单词在源代码中的字符串)。

  2. 词法分析器需要把对象语言的词法规则全部描述出来，在这我们取 C 语 言子集，它的词法定义如下：

    （1）关键字 KEYWORD if else int return void while…….. 所有的关键字都是小写。

    （2）标识符 IDENTIFIER 标识符的定义采取正则表达式定义方式，标识符由字母、数字、下划线“_” 组成，并且首字母不能是数字。

    （3）分隔符 SEPARATER ； ， { } [ ] （ ）

    （4）运算符 OPERATOR + - * / > < =

    （5）常数 CONSTANT 简化为只表示整型常数。

    （6）词法分析过滤的字符 空格“ ”、制表符“\t”、回车“\r” 和换行符“\n”。

程序的输入要从文件中获取，所以我们要从指定的文件中读取内容，示例内容如下：

 void main()
 {
     while(a>45){
         int x, x1;
         x=x1+1;
     }
     return 0;
 }

词法分析程序输出如下：

 Reading from standard input...
 17  void
 12  main
 46  (
 47  )
 48  {
 20  while
 46  (
 53  a
 34  >
 7   45
 47  )
 48  {
 13  int
 53  x
 44  ,
 53  x1
 45  ;
 53  x
 37  =
 53  x1
 30  +
 7   1
 45  ;
 49  }
 14  return
 7   0
 45  ;
 49  }
 ​

主要就是要对jjt文件进行添加和修改，在TOKEN部分定义关键字、分隔符、运算符等词法定义；其次就是为了能够从文件中进行读取，我们需要修改mian()方法实例化词法分析器对象，并实现扫描和输出单词序列。

只不过TOKEN的话大部分基础的都已经默认定义了，主要还是添加额外的关键词定义和各自符号的定义。

TOKEN部分代码如下：

 TOKEN : /* LITERALS */
 {
   < INTEGER_LITERAL :
     < DECIMAL_LITERAL > ([ "l", "L" ])?
   | < HEX_LITERAL > ([ "l", "L" ])?
   | < OCTAL_LITERAL > ([ "l", "L" ])? 
     >
 | < #DECIMAL_LITERAL : [ "1"-"9" ] ([ "0"-"9" ])* >
 | < #HEX_LITERAL : "0" [ "x", "X" ] ([ "0"-"9", "a"-"f", "A"-"F" ])+ >
 | < #OCTAL_LITERAL : "0" ([ "0"-"7" ])* >
 }
 ​
 TOKEN :
 {
   < CONSTANT :
     (< DIGIT >)+
     (
       "." (< DIGIT >)+
     )? >
 }
 ​
 TOKEN : /* KEYWORDS */
 {
     < MAIN : "main" >
 |   < INT : "int" >
 |  < RETURN :"return" >
 | < IF:"if" >
 | < ELSE:"else" >
 | < VOID : "void" >
 | < DOUBLE:"double" >
 | < FLOAT:"float" >
 | < WHILE:"while" >
 | < DO:"do" >
 | < FOR:"for" >
 | < CHAR:"char" >
 | < STRING:"string" >
 | < BOOL:"bool" >
 | < BREAK:"break" >
 | < SWITCH:"switch" >
 | < CASE:"case" >
 | < DEFAULTS:"default" >
 ​
 }
 ​
 TOKEN: /*OPERATORS*/
 {
     < PLUS : "+" >
 |   < MINUS : "-" >
 |   < MULTIPLY : "*" >
 |   < DIVIDE : "/" >
 | < GD:">" >
 | < LD:"<" >
 | < SQRT:"^" >
 | < EQ:"=" >
 | < GE:">=" >
 | < LE:"<=" >
 | < EQQ:"==" >
 | < NE:"!=" >
 | < OR:"||" >
 | < AND:"&&" >
 }
 TOKEN: /* SEPARATER */
 {
 < COMMA:"," >
 | < SEMICOLON:";" >
 | < LB:"(" >
 | < RB:")" >
 | < BLB:"{" >
 | < BRB:"}" >
 | < LBB:"[" >
 | < RBB:"]" >
 | < COLON:":" >
 ​
 }
 TOKEN : /* IDENTIFIERS */
 {
   < IDENTIFIER :
     < LETTER >
     (
       < LETTER >
     | < DIGIT >
     )* >
 | < #LETTER : [ "_", "a"-"z", "A"-"Z" ] >
 | < #DIGIT : [ "0"-"9" ] >
 }

main方法代码如下：

 package xx;
 import java.io.FileInputStream;
 import java.io.FileReader;
 import java.io.FileNotFoundException;
 public class AAA
 {
   public static void main(String args [])
   {
     System.out.println("Reading from standard input...");
     
     AAA parser = new AAA(System.in);
     try
     {
 ​
       //String file = "./output.txt";
      // String file = "./zeroone.txt";
       String file = "./test.txt";
       FileInputStream fin = new FileInputStream(file);
       SimpleCharStream scs = new SimpleCharStream(fin);
       AAATokenManager tm = new AAATokenManager(scs);
       Token to;
       int i = 0;
       while((to=tm.getNextToken()).kind!=0) {
         //to=tm.getNextToken();
         //if(to.kind==0)break;
         System.out.println(to.kind+"\t"+to.toString());
       }
       SimpleNode n = parser.Start();
       n.dump("");
       System.out.println("Thank you.");
     }
     catch (FileNotFoundException e) {
             e.printStackTrace();
             }
             catch (Exception e)
     {
       System.out.println("Oops.");
       System.out.println(e.getMessage());
     }
   }
 }

.jjt完整代码如下：

 /**
  * JJTree template file created by SF JavaCC plugin 1.5.28+ wizard for JavaCC 1.5.0+
  */
 options
 {
   static = false;
 }
 ​
 PARSER_BEGIN(AAA)
 package xx;
 import java.io.FileInputStream;
 import java.io.FileReader;
 import java.io.FileNotFoundException;
 public class AAA
 {
   public static void main(String args [])
   {
     System.out.println("Reading from standard input...");
     
     AAA parser = new AAA(System.in);
     try
     {
 ​
       //String file = "./output.txt";
      // String file = "./zeroone.txt";
       String file = "./test.txt";
       FileInputStream fin = new FileInputStream(file);
       SimpleCharStream scs = new SimpleCharStream(fin);
       AAATokenManager tm = new AAATokenManager(scs);
       Token to;
       int i = 0;
       while((to=tm.getNextToken()).kind!=0) {
         //to=tm.getNextToken();
         //if(to.kind==0)break;
         System.out.println(to.kind+"\t"+to.toString());
       }
       SimpleNode n = parser.Start();
       n.dump("");
       System.out.println("Thank you.");
     }
     catch (FileNotFoundException e) {
             e.printStackTrace();
             }
             catch (Exception e)
     {
       System.out.println("Oops.");
       System.out.println(e.getMessage());
     }
   }
 }
 ​
 PARSER_END(AAA)
 ​
 SKIP :
 {
   " "
 | "\t"
 | "\n"
 | "\r"
 | < "//" (~[ "\n", "\r" ])*
     (
       "\n"
     | "\r"
     | "\r\n"
     ) >
 | < "/*" (~[ "*" ])* "*"
     (
       ~[ "/" ] (~[ "*" ])* "*"
     )*
     "/" >
 }
 ​
 TOKEN : /* LITERALS */
 {
   < INTEGER_LITERAL :
     < DECIMAL_LITERAL > ([ "l", "L" ])?
   | < HEX_LITERAL > ([ "l", "L" ])?
   | < OCTAL_LITERAL > ([ "l", "L" ])? 
     >
 | < #DECIMAL_LITERAL : [ "1"-"9" ] ([ "0"-"9" ])* >
 | < #HEX_LITERAL : "0" [ "x", "X" ] ([ "0"-"9", "a"-"f", "A"-"F" ])+ >
 | < #OCTAL_LITERAL : "0" ([ "0"-"7" ])* >
 }
 ​
 TOKEN :
 {
   < CONSTANT :
     (< DIGIT >)+
     (
       "." (< DIGIT >)+
     )? >
 }
 ​
 TOKEN : /* KEYWORDS */
 {
     < MAIN : "main" >
 |   < INT : "int" >
 |  < RETURN :"return" >
 | < IF:"if" >
 | < ELSE:"else" >
 | < VOID : "void" >
 | < DOUBLE:"double" >
 | < FLOAT:"float" >
 | < WHILE:"while" >
 | < DO:"do" >
 | < FOR:"for" >
 | < CHAR:"char" >
 | < STRING:"string" >
 | < BOOL:"bool" >
 | < BREAK:"break" >
 | < SWITCH:"switch" >
 | < CASE:"case" >
 | < DEFAULTS:"default" >
 ​
 }
 ​
 TOKEN: /*OPERATORS*/
 {
     < PLUS : "+" >
 |   < MINUS : "-" >
 |   < MULTIPLY : "*" >
 |   < DIVIDE : "/" >
 | < GD:">" >
 | < LD:"<" >
 | < SQRT:"^" >
 | < EQ:"=" >
 | < GE:">=" >
 | < LE:"<=" >
 | < EQQ:"==" >
 | < NE:"!=" >
 | < OR:"||" >
 | < AND:"&&" >
 }
 TOKEN: /* SEPARATER */
 {
 < COMMA:"," >
 | < SEMICOLON:";" >
 | < LB:"(" >
 | < RB:")" >
 | < BLB:"{" >
 | < BRB:"}" >
 | < LBB:"[" >
 | < RBB:"]" >
 | < COLON:":" >
 ​
 }
 TOKEN : /* IDENTIFIERS */
 {
   < IDENTIFIER :
     < LETTER >
     (
       < LETTER >
     | < DIGIT >
     )* >
 | < #LETTER : [ "_", "a"-"z", "A"-"Z" ] >
 | < #DIGIT : [ "0"-"9" ] >
 }
 ​
 ​
 SimpleNode Start() :
 {}
 {
   Expression() ";"
   {
     return jjtThis;
   }
 }
 ​
 void Expression() :
 {}
 {
   AdditiveExpression()
 }
 ​
 void AdditiveExpression() :
 {}
 {
   MultiplicativeExpression()
   (
     (
       "+"
     | "-"
     )
     MultiplicativeExpression()
   )*
 }
 ​
 void MultiplicativeExpression() :
 {}
 {
   UnaryExpression()
   (
     (
       "*"
     | "/"
     | "%"
     )
     UnaryExpression()
   )*
 }
 ​
 void UnaryExpression() :
 {}
 {
   "(" Expression() ")"
 | Identifier()
 | Integer()
 }
 ​
 void Identifier() :
 {}
 {
   < IDENTIFIER >
 }
 ​
 void Integer() :
 {}
 {
   < INTEGER_LITERAL >
 }
 ​

half_m
关注
  • 4
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JavaCC词法分析器 单词定义超详细 基于Eclipse插件 能从文件读取源代码 输出种别编码和对应单词
12-20
在学编译原理，自己写的，已经比较完善了，希望对你有所帮助，使用/src/la/LexicalTest.java来进行测试
编译原理实验1——词法分析器的Java实现
ThinkStu的博客
04-24 5475
实验采用Java语言编写，通过多个正则表达式模式进行词法元素匹配，实现了识别保留字、标识符、常数、运算符、界符等功能，并具有一定的错误处理功能。通过对源程序的扫描和分析，词法分析器可以为后续的语法分析和代码生成提供基础支持，为编译器的整个过程打下坚实的基础。成绩以最后一次的验收为准。单词的种别码是语法分析需要的信息，可用整数编码表示，例如：标识符的种别码为1，常数为2，保留字为3，运算符为4，界符为5。单词的自身值是编译其它阶段需要的信息，标识符的自身值是标识符在符号表入口，其他类型单词的自身值是其本身。
javacc 词法分析器
05-31
对一句话的关键词进行分析，挑出关键词的一种工具
JavaCC详解 绝对干货
热门推荐
思念
10-29 2万+
考虑到在CSDN，没有搜索到很多关于javacc的东西，绝对干货。javacc概述javacc概述　　JavaCC 是一个词法分析生成器和语法分析生成器。 词法分析和语法分析是处理输入字符序列的软件构件， 编译器和解释器协同词法分析和语法分析来“解密” 程序文件。　　javacc的获取：https://java.net/projects/javacc/downloads从此处下载了javacc 5.
java实现词法分析_Java 实现词法分析器
weixin_34894242的博客
02-18 2406
最后一次更新于 2019/12/19效果演示图项目介绍词法分析器是编译器的重要组成部分用于生成某种形式的中间语言，该中间语言可用于将一种计算机编程语言转换为机器语言。 因此，本仓库引入了一种新的词法分析器软件，该软件可以准确有效地识别符号并报告错误。 本仓库的目的是帮助人们加深对词法分析器的理解。软件设计与架构我的词法分析器对于没有任何计算机相关背景的用户来说也是容易上手的。首先，用户可以点击 "...
词法分析器JavaCC
mj256115的博客
05-03 909
词法分析器JavaCC 程序输入：从test.txt文件中读取内容 void main() { while(a>45) { int x,x1; x=x1+1; } } 程序输出：识别出的单词序列，格式为：（种别码，属性值） 一、支持类型 能识别关键字、标识符、常量（整常数、浮常数、字符串）、运算符、分隔符。能处理单行和多行注释。支持识别的各单词种别码及宏定义如下表 单词 种别码 宏 单词 种别码 宏 单词 种别码 宏 and 1 AND
Java实现词法分析
weixin_52008431的博客
04-26 4177
目录 词法分析说明 实现原理分析 代码实现 结果图 词法分析说明 编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。 例如： 如源程序为C语言。输入如下一段： main() { int a=-5,b=4,j; if(a>=b) j=a-b; else j=b-a; } 要求输出： （”main”，1，1） （”（”，5） （”）.
Java编译原理学习：二、词法分析
Walker_zmc的博客
03-08 886
package compile; /** * javac */ public class Cifa{ int a; int c=a+1; } 我们通过以上简单的类来看看词法分析的过程。以下是词法分析器设计的类图 Javac的主要词法分析器的接口类是com.sun.tools.javac.parser.Lexer，它的默认实现类是com.sum.tools.javac.pa...
java实现C语言子集的语法分析器
sinat_32092165的博客
11-25 2870
如题，只是做一个算法的演示，所以并不能识别C语言全部的关键字，像int 等关键字会被识别为标识符。可以按照自己需求自行扩充保留字表。 程序功能： 词法分析器从input文件中读入一小段C语言源程序，以二元式形式按顺序输出所有单词。输出结果在显示器上显示，同时存入output文件中。输入的C语言源程序中的所有标识符都要添加到标识符表id-list中，所有无符号整数都要添加到无符号整数表uint-
词法分析 java版
qq_18272103的博客
06-07 296
词法分析 java版 基于java的语法分析的程序，基本功能已经实现了 这个是要求 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ： = + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit*
编译原理中用javacc实现MiniC的词法分析、语法分析、语义分析
02-23
用Javacc实现MiniC的词法分析、语法分析、语义分析。在词法分析部分根据单词的构词规则分类，输出二元式；在语法分析部分利用Javacc实现LL(1)文法，判断源语言是否符合MiniC的语法，如果不符合，给出语法错误信息；语义分析部分是在语法分析的基础上根据属性文法制导翻译，进行语义分析，输出四元式。
Word_Analyze.rar_JavaCC词法_javacc
09-19
解释器第一次作业，包括词法分析和javacc 完整内容，明确注释
javacc 词法分析解释器例子
10-16
cmm javacc 对CMM语言的词法语法分析器的自动实现
javaCC教程-1、简单语法解析案例
Brave Soul Blog
04-03 3309
javaCC入门教程-1、匹配括号 1、配置javacc环境变量 将javacc的路径添加到系统变量Path，D:\java源码包\javacc\javacc-5.0\bin 测试javacc命令 cmd模式下j输入javacc测试 Simple1.jj 文件内容如下： options { LOOKAHEAD = 1; CHOICE_AMBIGUITY_CHECK = 2; O...
Java实现简易的词法分析器
galaxyMrfanfan的博客
04-16 1万+
此次也是课题需要,才写了这么一个项目,编译原理课你懂的.由于个人比较喜欢Java,因此写了一个Java版本简易的词法分析器.(也是因为Java对数组的使用比较随意)注意:没有出错处理,如 9int,或是 int 23等等一系列错误是检测不出来的.但是可以检测小数和注释的错误.错误种类太多太麻烦,就没有处理了.实验要求如下:实验一  词法分析程序设计【实验要求】对一个简单的语言的子集编制一个一遍扫描...
大学编译实验--词法分析器（Java实现）
编程语言小筑
12-18 1112
SIMPLE语言定义 一、字符集定义 1．&lt;字符集&gt; → &lt;字母&gt;│&lt;数字&gt;│&lt;单界符&gt; 2．&lt;字母&gt; → A│B│…│Z│a│b│…│z 3．&lt;数字&gt; → 0│1│2│…│9 4．&lt;单界符&gt; → +│-│*│/│=│&lt;│&gt;│
JAVACC使用总结（二）：词法TOKEN
qq_15089775的博客
01-23 2781
词法类型 哪些要定义成TOKEN? 样例
基于Java构造词法分析器+语法分析器完成编译原理实验
lovely__boy的博客
06-24 1484
功能概述： 根据简单语言的词法和各单词符号种别码表，编写C或C++语言源程序，实现针对该简单语言的词法分析器，然后构造语法分析器。 （1）文件struct.java定义单词符号的二元组结构、全局变量、关键字表的结束标志等。 （2）文件funs.java实现词法扫描算法scanner及其所需的各种基本操作算法。 （3）文件text.java调用scanner算法，实现词法分析器的功能。 所用知识：1.词法分析 2.语法分析 开发环境：Eclipse 2021 jdk1.8 //struct.java 将属性封
jar包增量更新分析
最新发布
junlaiyan的专栏
05-16 252
借助jdeps分析出jar包的增量文件
JavaCC自动生成词法分析和语法分析程序
06-10
是的，JavaCC是一个生成词法分析器和语法分析器的工具，可以帮助开发者快速生成符合语法规范的解析器程序。 以下是使用JavaCC生成词法分析和语法分析程序的一般步骤： 1. 定义语法规则：使用JavaCC语法定义文件，定义要解析的语法规则，包括终结符、非终结符、产生式等。 2. 自动生成解析器：使用JavaCC编译器，根据语法规则文件自动生成词法分析器和语法分析器的Java代码。 3. 将自动生成的代码集成到Java应用程序中：将自动生成的词法分析器和语法分析器集成到Java应用程序中，将输入的文本转换成语法树，进行进一步的处理。 4. 编译和运行：编译Java应用程序，生成可执行文件，运行程序进行测试。 JavaCC支持多种语言的解析器生成，包括Java、C++、C、Python等。它简化了解析器的开发过程，提高了开发效率，同时还支持定制化的语法规则，可以满足不同的解析需求。 希望这个回答能够帮助您了解JavaCC的使用方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值