(编译原理)java实现词法分析器

闲话

最近在学编译原理,需要用语言实现一个词法分析器,其实挺简单的,主要涉及一些语言字符串操作处理,如果会正则表达式的话,感觉实现这个会很简单,但是我并不会啊,然后自己用java实现了,也算是加强了对java的一些字符操作方法的使用。

实现这个分析器,算法上基本上没什么难度,但是其中涉及的一些逻辑上的思考,说白了就是这么多种情况,有写情况还有交叉部分,你怎么让自己不绕进去,并且用代码实现自己的对这个问题思路。

那么闲话就说到这,具体我怎么想的,怎么处理的看下面

问题要求

####一、 实验目的

设计、编制并调试一个词法分析程序,加深对词法分析原理的理解。

####二、 实验内容

2.1 待分析的简单词法

(1)关键字:所有的关键字都是小写
begin if then while do end

(2)运算符和界符
:= + - * / < <= <> > >= = ; ( ) #

(3)其他单词是标识符(ID)和整型常数(NUM),通过以下正规式定义:
ID = letter (letter | digit)*
NUM = digit digit*

(4)空格有空白、制表符和换行符组成。空格一般用来分隔ID、NUM、运算符、界符和关键字,词法分析阶段通常被忽略。

2.2 各种单词符号对应的种别码:

这里写图片描述

2.3 词法分析程序的功能:

输入:所给文法的源程序字符串。

输出:二元组(syn,token或num)构成的序列。

其中:syn为单词种别码;
      token为存放的单词自身字符串;
      num为整型常数。
      
例如:对源程序begin x:=9; if x>9 then x:=2*x+1/3; end #的源文件,经过词法分析后输出如下序列:

(1,begin) (10,x) (18,:=) (11,9) (26,;) (2,if)……

思维导图

先上思维导图, 根据思维导图看看我是怎么想这个问题的。

这里写图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,我可以为您提供一些关于编译原理词法分析器Java语言实现的信息。 首先,词法分析器是编译器的第一个阶段,其任务是将输入的字符流转换为有意义的词法单元(token)序列。在Java中,可以使用诸如ANTLR、JavaCC等工具来自动生成词法分析器,也可以手动编写自己的词法分析器。 手动编写词法分析器的方法是,先定义词法单元的类型,然后使用正则表达式来描述每个词法单元的模式。接着,使用Java的Scanner类读取输入的字符流,并对其进行匹配。匹配成功后,将识别出的词法单元存储到一个token序列中,最后返回token序列。 下面是一个简单的Java词法分析器的示例代码: ``` import java.util.ArrayList; import java.util.regex.Matcher; import java.util.regex.Pattern; import java.util.Scanner; public class Lexer { private String input; private ArrayList<Token> tokens; public Lexer(String input) { this.input = input; this.tokens = new ArrayList<Token>(); } public ArrayList<Token> tokenize() { Scanner scanner = new Scanner(this.input); String pattern = "\\s*([0-9]+|[a-zA-Z]+|\\+|\\-|\\*|\\/|=)"; Pattern regex = Pattern.compile(pattern); while (scanner.hasNextLine()) { String line = scanner.nextLine(); Matcher matcher = regex.matcher(line); while (matcher.find()) { String lexeme = matcher.group(1); TokenType type = getTokenType(lexeme); Token token = new Token(type, lexeme); this.tokens.add(token); } } return this.tokens; } private TokenType getTokenType(String lexeme) { if (lexeme.matches("[0-9]+")) { return TokenType.NUMBER; } else if (lexeme.matches("[a-zA-Z]+")) { return TokenType.IDENTIFIER; } else if (lexeme.matches("\\+|\\-|\\*|\\/")) { return TokenType.OPERATOR; } else if (lexeme.equals("=")) { return TokenType.ASSIGNMENT; } else { return TokenType.UNKNOWN; } } } ``` 在这个例子中,我们使用正则表达式来描述了数字、标识符、运算符和赋值符号的模式。我们使用Scanner类来读取输入的字符流,并使用Matcher类来进行匹配。每次匹配成功后,我们将识别出的词法单元存储到一个ArrayList中,并最终返回这个ArrayList作为结果。 这只是一个简单的示例代码,实际上词法分析器实现还需要考虑很多其他的因素,比如错误处理、注释处理等。但是,希望这个例子能够给您提供一些参考。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值