java简单地实现Tiny语言的词法分析器

最新推荐文章于 2024-08-10 07:38:40 发布
最新推荐文章于 2024-08-10 07:38:40 发布
阅读量2.6k 收藏 7
点赞数
分类专栏： 其他 文章标签： 语言 Tiny java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JINYUANCAI/article/details/50801703
版权

只是简单地编写，实现了一些简单的功能，没有考虑到代码优化等问题。


Tiny语言定义

 

一、 字符集定义

1． <字符集> → <字母>│<数字>│<单界符>

2． <字母> → A│B│…│Z│a│b│…│z

3． <数字> → 0│1│2│…│9

4． <单界符> → +│-│*│/│=│<│>│(│)│[│]│:│. │; │, │' │_ │{ │} │%

 

二、 单词集定义

5．<单词集> → <保留字>│<双界符>│<标识符>│<常数>│<单界符>

6．<保留字> → and│array│begin│bool│call│case│char│const│do│double│else│end│false│for│if│int│not│of│or│procedure│program│read│real│repeat│set│stop│then│to│true│until│var│while│write

7．<双界符> → <=│>=│:= │/*│*/│

8．<标识符> → <字母>│_ <字母>│_ <数字>│<标识符> <数字>│<标识符> <字母>│<标识符> _

9．<常数> → <整数>│<布尔常数>│<字符常数>

10．<整数> → <数字>│<整数> <数字>

11．<布尔常数> → true│false

12．<字符常数> → ' 除 ' 外的任意字符串'

 

三、 数据类型定义

13．<类型> → int│bool│char

 

四、 表达式定义

14．<表达式> → <算术表达式>│<布尔表达式>│<字符表达式>

15．<算术表达式> → <算术表达式> + <项>│<算术表达式> - <项>│<项>

16．<项> → <项> * <因子>│<项> / <因子>│<因子>

17．<因子> → <算术量>│- <因子>

18．<算术量> → <整数>│<标识符>│（ <算术表达式> ）

19．<布尔表达式> → <布尔表达式> or <布尔项>│<布尔项>

20．<布尔项> → <布尔项> and <布因子>│<布因子>

21．<布因子> → <布尔量>│not <布因子>

22．<布尔量> → <布尔常量>│<标识符>│（ <布尔表达式> ）│

<标识符> <关系符> <标识符>│<算术表达式> <关系符> <算术表达式>

23．<关系符> → <│<=│>=│>│=

24．<字符表达式> → <字符常数>│<标识符>

 

五、 语句定义

25．<语句> → <赋值句>│<if句>│<while句>│<repeat句>│<复合句>

26．<赋值句> → <标识符> := <算术表达式>

27．<if句>→ if <布尔表达式> then <语句>│if <布尔表达式> then <语句> else <语句>

28．<while句> → while <布尔表达式> do <语句>

29．<repeat句> → repeat <语句> until <布尔表达式>

30．<复合句> → begin <语句表> end

31．<语句表> → <语句> ；<语句表>│<语句>

 

 

六、 程序定义

32．<程序> → program <标识符> ；<变量说明> <复合语句> .

33．<变量说明> → var <变量定义>│ε

34．<变量定义> → <标识符表> ：<类型> ；<变量定义>│<标识符表> ：<类型> ；

35．<标识符表> → <标识符> ，<标识符表>│<标识符>

 

七、 Tiny语言单词编码

 

单  词

种别码

 

单  词

种别码

 

单  词

种别码

and

1

program

21

+

41

array

2

read

22

,

42

begin

3

real

23

-

43

bool

4

repeat

24

.

44

call

5

set

25

/

45

case

6

stop

26

/*

46

char

7

then

27

:

47

const

8

to

28

:=

48

do

9

true

29

;

49

double

10

until

30

<

50

else

11

var

31

<=

51

end

12

while

32

=

52

false

13

write

33

>

53

for

14

标识符

34

>=

54

if

15

整数

35

[

55

int

16

字符常数

36

]

56

not

17

(

37

_

57

of

18

)

38

{

58

or

19

*

39

}

59

procedure

20

*/

40

%

60


 能发现下列词法错误和指出错误性质和位置：

非法字符，即不是Tiny字符集的符号；例如@ ￥等符号

字符常数缺右边的单引号（字符常数要求左、右边用单引号界定，不能跨行）；

注释部分缺右边的界符*/（注释要求左右边分别用/*和*/界定，不能跨行）；

发现错误后要能够继续编译下去，不能只报一个错误；


八、 测试程序与样板输出

 

测试程序1：

program _example;

var  A,B,C,D:int;

begin

  A:=1; B:=5; C:=3; D:= '4';/* Variable initialization*/

  while A<C and B>D do

if A=1 then C:=C+1 else

  while A<=D do A:=A*2

end.

 

样板输出1：（要求在屏幕上显示）

(21 , program ) (34 , _example ) (49 , ; ) (31 , var ) (34 , A )

(42 , , ) (34 , B ) (42 , , ) (34 , C ) (42 , , )

(34 , D ) (47 , : ) (16 , int ) (49 , ; ) (3 , begin )

(34 , A) ( 48 , := ) (35 , 1 ) ( 49 , ; ) (34 , B )

(48 , := ) (35 , 5 ) (49 , ; ) (34 , C ) (48 , := )

(35 , 3 ) (49 , ; ) (34 , D ) (48 , := ) (36 , 4 )

(49, ; ) (32, while ) (34 , A ) (50 , < ) (34 , C )

(1, and ) (34 , B ) (53 , > ) (34 , D ) (9 , do )

(15, if ) (34 , A ) (52 , = ) (35 , 1 ) (27 , then )

(34, C ) (48 , := ) (34, C ) (41 , + ) (35 , 1 )

(11, else ) (32, while ) (34,A ) (51 , <= ) (34 , D )

(9, do ) (34,A ) (48 , := ) (34 , A ) (39 , * )

(35,2 ) (12 , end ) (44 , . )


代码如下：

package test;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.Scanner;

/**
 * 
 * @author user
 *
 */
public class Test {
	
	//保存关键字的数组
	private static String []keyWord = {"and","array","begin","bool","call",
    "case","char","const","do","double","else","end","false","for","if",
    "int","not","of","or","procedure","program","read","real","repeat","set",
	"stop","then","to","true","until","var","while","write"};
	
	private static String dyhStr = "'";
	//保存符号的数组
	private static char []delimiter = {'(',')','*','+',',','-','.','/',':',';',
	'<','=','>','[',']','_','{','}','%',dyhStr.charAt(0)};

	private static FileInputStream fis;
	
	/**
	 * 判断是否是关键字
	 * @param str
	 * @return
	 */
	public static boolean isKeyWord(String str){
		boolean flag = false;
		for(int i = 0; i < keyWord.length; i++){
			if(keyWord[i].equals(str)){
				flag = true;
			}
		}
		return flag;
	}
	
	/**
	 * 判断是否是数字
	 * @param ch
	 * @return
	 */
	public static boolean isNumber(char ch){
		boolean flag = false;
		if(ch >= '0' && ch<= '9'){
			flag = true;
		}
		return flag;
	}
	
	/**
	 * 判断是否是字母
	 * @param ch
	 * @return
	 */
	public static boolean isLetter(char ch){
		boolean flag = false;
		if((ch >= 'a' && ch <= 'z') || (ch >= 'A' && ch <= 'Z')){
			flag = true;
		}
		return flag;
	}
	
	/**
	 * 判断是否是字符
	 * @param ch
	 * @return
	 */
	public static boolean isDlimeter(char ch){
		boolean flag = false;
		for(int i = 0; i < delimiter.length; i++){
			if(ch == delimiter[i]){
				flag = true;
			}
		}
		return flag;
	}
	
	
	/**
	 * 获取关键字的种别码
	 * @param str
	 * @return
	 */
	public static int getKeyWordIndex(String str){
		int keyWordIndex = 0;
		for(int i = 0; i< keyWord.length; i++){
			if(str.equals(keyWord[i]))
				keyWordIndex = i+1;  //数组下标从0开始
		}
		return keyWordIndex;
	}
	
	/**
	 * 获取单界符的种别码
	 * @param ch
	 * @return
	 */
	public static int getDelimiterIndex(char ch){
		int delimiterIndex = 0;
		switch (ch) {
		case '(':
			delimiterIndex = 37;
			break;
		case ')':
			delimiterIndex = 38;
			break;
		case '*':
			delimiterIndex = 39;
			break;
		case '+':
			delimiterIndex = 41;
			break;
		case ',':
			delimiterIndex = 42;
			break;
		case '-':
			delimiterIndex = 43;
			break;
		case '.':
			delimiterIndex = 44;
			break;
		case '/':
			delimiterIndex = 45;
			break;
		case ':':
			delimiterIndex = 47;
			break;
		case ';':
			delimiterIndex = 49;
			break;
		case '<':
			delimiterIndex = 50;
			break;
		case '=':
			delimiterIndex = 52;
			break;
		case '>':
			delimiterIndex = 53;
			break;
		case '[':
			delimiterIndex = 55;
			break;
		case ']':
			delimiterIndex = 56;
			break;
		case '_':
			delimiterIndex = 57;
			break;
		case '{':
			delimiterIndex = 58;
			break;
		case '}':
			delimiterIndex = 59;
			break;
		case '%':
			delimiterIndex = 60;
			break;
		}
		return delimiterIndex;
	}
	
	/**
	 * 获取双界符的种别码
	 * @param str
	 * @return
	 */
	public static int getDoubleDelimiter(String str){
		//":=",">=","<=","/*","*/"
		int index = 0;
		if(str.equals("*/")){
			index = 40;
		}
		if(str.equals("/*")){
			index = 46;
		}
		if(str.equals(":=")){
			index = 48;
		}
		if(str.equals("<=")){
			index = 51;
		}
		if(str.equals(">=")){
			index = 54;
		}
		return index;
	}
	
	/**
	 * 根据文本路径读取文本内容
	 * @param path
	 * @return
	 * @throws IOException 
	 */
	public static String readFile(String path) throws IOException{
		File file = new File(path);
		if(!file.exists() || file.isDirectory()){
			throw new FileNotFoundException();
		}
		fis = new FileInputStream(file);
		byte[] buffer = new byte[1024];
		StringBuffer stringBuffer = new StringBuffer();
		while((fis.read(buffer)) != -1){
			stringBuffer.append(new String(buffer));
			buffer = new byte[1024];
		}
		return stringBuffer.toString();
	}
	
	/**
	 * Tiny语言的词法分析
	 */
	public static void lexcialAnalysis(String filePath){	
		

		try{
			String fileTxt = readFile(filePath).trim();
			System.out.println("Tiny语言的源程序如下：");
			System.out.println(fileTxt);
			System.out.println("进行词法分析");
		}catch(IOException e){
			e.printStackTrace();
		}
		File file = new File(filePath);
		int row = 0, count = 0;//row行号,count统计二元组的个数
		char ch; 
		String lineStr; 
		BufferedReader bufferedReader;
		try{
			bufferedReader = new BufferedReader(new FileReader(file));
			//按行进行词法分析
			while((lineStr = bufferedReader.readLine()) != null){
				int i = 0;
				row++;
				int col = 1 ; //列号
				String dyh = "'";
				while(i <= lineStr.length()-1){
					ch = lineStr.charAt(i);
					//判断读取的第一个字符是否为字母或者是下划线
					if(isLetter(ch) || ch == '_'){
	/*********/			StringBuffer stringBuffer = new StringBuffer();
						stringBuffer.append(ch);
						col++;
						//读取下一个字符
						ch = lineStr.charAt(++i);
						//非第一个字符时，可以为字母，下划线和数字
						while((isLetter(ch)) || isNumber(ch) || ch == '_'){
							stringBuffer.append(ch);
							//如果读取到行的末尾则跳出循环，否则继续读取
							if(i == lineStr.length() - 1){
								i++;
								break;
							}
							else{
								ch = lineStr.charAt(++i);
							}
							col++;
						}
						
						//判断当前字符串是否是关键字
						if(isKeyWord(stringBuffer.toString())){
							//获取该关键字的种别码
							int kindCode = getKeyWordIndex(stringBuffer.toString());
							//输出该关键字的二元组
							System.out.print("("+ kindCode + "," + stringBuffer.toString() + ")"+ "  ");
							//二元组个数加1
							count++;
						}
						//标识符，输出标识符的二元组
						else{
							System.out.print("(" + 34 + ","+ stringBuffer.toString() +")"+ "  ");
							count++;
						}
						//每5个二元组换行
						if(count % 5 == 0){
							System.out.println();
						}
					}
					//如果是单界符
					else if(isDlimeter(ch)){
						StringBuffer stringBuffer = new StringBuffer();
						
						//如果是','或';'或'=','.'，直接输出二元组
						if((ch == ',')||(ch == ';')||(ch == '=')||(ch == '.')){
							System.out.print("(" + getDelimiterIndex(ch) + "," + ch + ")" + "  ");
							i++;
							col++;
							count++;
						}
						//如果是'('或')'或'['或']'，直接输出二元组
						else if((ch == '(')||(ch == ')')||(ch == '[')||(ch == ']')){
							System.out.print("(" + getDelimiterIndex(ch) + "," + ch + ")" + "  ");
							i++;
							col++;
							count++;
						}
						//如果是'+'或'-'或'*'，直接输出二元组
						else if((ch == '+')||(ch == '-')||(ch == '*')){
							System.out.print("(" + getDelimiterIndex(ch) + "," + ch + ")" + "  ");
							i++;
							col++;
							count++;
						}
						//如果是'>'或'<'或':',需要继续读取一个字符进行判断是否是双界符
						else if((ch == '>')||(ch == '<')||(ch == ':')){
							stringBuffer.append(ch);
							col++;
							//读取下一个字符
							char nextCh = lineStr.charAt(++i); 
							//如果字符为'='
							if(nextCh == '='){
								stringBuffer.append(nextCh);
								col++;
								//输出双界符相关的二元数组
								System.out.print("(" + getDoubleDelimiter(stringBuffer.toString()) //
													+ "," + stringBuffer.toString() + ")" + "  ");
								i++;
								count++;
							}
							//直接输出单界符'>'或'<'或':'
							else{
								System.out.print("(" + getDelimiterIndex(ch) + "," + ch + ")" + "  ");
								count++;
							}
						}
						//如果读取的字符为/或'或"
						else if((ch == '/')||ch == dyh.charAt(0)){
							stringBuffer.append(ch);
							col++;
							if(i == lineStr.length() -1){
								i++;
								break;
							}
							//继续读取字符
							else{
								ch = lineStr.charAt(++i);
							}
							
							if(ch == '*'){
								stringBuffer.append(ch);
								ch = lineStr.charAt(++i);
								col++;
								while(ch != '*'){
									if(i == lineStr.length() - 1){
										i++;
										System.out.print("error:注释不匹配，第" + row +
												"行，第" + col + "列");
										break;
									}
									else{
										ch = lineStr.charAt(++i);
										col++;
									}
								}
								if(i <= lineStr.length()){
									break;
								}
								else{
									ch = lineStr.charAt(++i);
								}
								col++;
								if(ch == '/'){
									i++;
									continue;
								}
								else{
									System.out.print("error:注释不匹配"+"第"+row+"行,第"+col+"列");
								}
							}
							if(stringBuffer.charAt(0) == dyh.charAt(0)){
								StringBuffer stringBuffer1 = new StringBuffer();
								stringBuffer1.append(ch);
								col++;
								if(i == lineStr.length() - 1){
									i++;
									break;
								}
								else{
									ch = lineStr.charAt(++i);
									col++;
									while(ch != dyh.charAt(0)){
										stringBuffer.append(ch);
										if(i == lineStr.length() - 1){
											i++;
											break;
										}
										else{
											//继续读取字符
											ch = lineStr.charAt(++i);
											col++;
										}
									}
								}
								if( ch == dyh.charAt(0)){
									//输出的是字符常数
									System.out.print("(" + 36 + "," + stringBuffer1.toString() + ")" + "  ");
									count++;
								}
								else{
									System.out.print("error:单引号不匹配"+"第"+row+"行,第"+col+"列");
								}
								i++;
							}
						}
						if(count % 5 == 0){
							System.out.println();
						}
					}
					//非法字符判断
					else if(isDlimeter(ch) == false && isNumber(ch) == false && isLetter(ch) == false && ch != ' ') {
						System.out.print("error:出现非法字符："+ch+",第"+row+"行,第"+col+"列");
						i++;
						col++;
					}
					//第一次读入的是数字
					else if(isNumber(ch)){
						StringBuffer stringBuffer = new StringBuffer();
						stringBuffer.append(ch);
						col++;
						ch = lineStr.charAt(++i);
						if(isNumber(ch)){
							while(isNumber(ch)){
								stringBuffer.append(ch);
								col++;
								ch = lineStr.charAt(++i);
							}
							System.out.print("(" + 35 + "," + stringBuffer.toString() + ")" + "");
							count++;
						}
						//一位数时，输出二元组 
						else {
							System.out.print("(" + 35 + "," + stringBuffer.toString()+ ")" + " ");
							count++;
							}
						if(isLetter(ch)){
							while(isLetter(ch)){
								stringBuffer.append(ch);
								col++;
								ch = lineStr.charAt(++i);
							}
							System.out.print("error:非法字符"+ stringBuffer.toString() + " 第 "+ row +" 行,第"+col+" 列出错");
						}
						if(count % 5 == 0){
							System.out.println();
						}
					}
					else{
						i++;
						col++;
					}
				}
			}
		}
		catch(Exception e){
			e.printStackTrace();
		}
	}
	
	public static void main(String []args){
		Scanner sc = new Scanner(System.in,"UTF-8");
		System.out.println("姓名：xxx   班级：xx软件工程xx班   学号：123456789");
		System.out.println("请输入文件路径，例如：D://test.txt");
		lexcialAnalysis(sc.nextLine());
	}
}


运行结果：



Choimeyu
关注
专栏目录
【C++】TINY语言的词法分析器以及为实现C++编译器而进行的拓展
LIG452338558的博客
08-14 925
学习编译原理课程时写的词法分析器，先写了TINY语言的词法分析器，然后针对C++语言的特点做了一些拓展。
词法分析器java
11-13
编译词法分析器，用java编写的 public class analyetest { public ArrayList bracket; public ArrayList keyword; public ArrayList symbol; public ArrayList semicolon; public ArrayList operator; static HashMap BRACKET; static HashMap KEYWORD; static HashMap SEMICOLON; static HashMap OPERATOR; public analyetest() { this.KEYWORD = new HashMap(); this.BRACKET = new HashMap(); this.SEMICOLON = new HashMap(); this.OPERATOR = new HashMap(); this.bracket = new ArrayList(); this.keyword = new ArrayList(); this.symbol = new ArrayList(); this.semicolon = new ArrayList(); this.operator = new ArrayList(); }
编译原理——实验壹——TINY语言的词法分析
weixin_45102232的博客
02-04 2092
一、 实验目的 构造tiny语言的词法分析器（扫描器），要求利用第三方的lex工具进行构造。构造出的扫描器，能够读入tiny语言的示例代码，分解成token输出。 掌握使用lex工具 掌握构造词法分析器 掌握lex的输入文件的编写 二、 实验设计 掌握词法分析器的构造和使用，学会使用 lex 工具来构造词法分析程序。 1.选择教材《程序清单2-3 TINY语言中的样本程序》作为输入 2.选择教材中《程序清单2-4》作为输出并做一些输入输出文件格式的改进 3.准备好了实验所需工具 4.程序设计 4-1：将
探索Tiny Bluetooth LE库：简化您的蓝牙低功耗开发
最新发布
gitblog_01176的博客
08-10 337
探索Tiny Bluetooth LE库：简化您的蓝牙低功耗开发 tinybTinyB exposes the BLE GATT API for C++, Java and other languages, using BlueZ over DBus.项目地址:https://gitcode.com/gh_mirrors/ti/tinyb 项目介绍 Tiny Bluetooth LE Libra...
java之词法分析器
qq_52857959的博客
04-25 286
/* 实验内容：词法分析器 将一句语句拆分为数字，标识符，关键字，符号 */ package lab1; import java.util.Scanner; class Analysis { private static String s; private int Len = 0; private String Key[] = {"if", "end", "then", "begin"};//关键字集合 private String Sign[] = {" ", "+"
java 词法分析器
coolsunxu的博客
07-23 688
java 词法分析器
java词法分析器
07-21
本词法分析器能分析出java中常见的大部分字符，比如说运算符，界符，常量等等。对一些错误的字符也能读取出来，比如说非法运算符，非法标识符，非法浮点型等等。另外，本词法分析器对java中的注释也进行了处理，解析过程中会跳过注释。总的来说，本词法分析器是一个比较完备的java词法分析器。本人对比了一下网上词法分析器，觉得本人的比较好。
编译原理：手工构造TINY语言的词法分析器.zip
05-07
在这个主题中，我们将深入探讨“手工构造TINY语言的词法分析器”的相关知识点，主要围绕C/C++实现、TINY语言的特性、词法分析器的构造方法以及数据结构与数据类型的运用。 首先，我们要理解什么是TINY语言。TINY是...
编译原理-基于tiny语言的词法分析器
04-24
编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法分析器 编译原理-基于tiny语言的词法...
HNU2024年编译原理课程实验-TINY语言词法分析器的实现.zip
06-01
在本实验中，我们主要关注的是“TINY”语言的词法分析器的实现，这是湖南大学2024年编译原理课程的一个实践环节。词法分析是编译器设计的重要组成部分，它负责将源代码分解成一个个有意义的符号，为后续的语法分析和...
Tiny语言的词法分析器-C++版-课程设计报告.pdf
06-27
本资源为Tiny语言的词法分析器的课程设计报告，涵盖了词法分析器的设计和实现，使用C++语言编写，运行于Windows 10专业版环境下的Microsoft Visual Studio 2013。报告中详细介绍了词法分析器的设计步骤、算法和实现...
JAVA版的JAVA词法分析器
11-21
一个能用的 JAVA版的JAVA词法分析器 我对这个程序稍微做了修改 可以用Eclipse直接打开
词法分析器(java实现)
07-09
通过java实现词法分析器。 解压： 1) src文件夹：实现代码 2)data文件夹：测试代码 3)README：说明文档
词法分析器（Java实现）
12-30
自己写的课程作业词法分析器，大概一千行左右，支持从文本输入正则表达式构造出DFA。给出源程序能出token序列。
用java实现的词法分析器
01-29
词法分析器 java实现 编译原理实验 与《龙书》上的不同。。。
词法分析器Java
Mr_lilongsha的博客
11-05 681
本文章是一篇关于记法分析的程序代码。 本代码还并不完善，只是一雏形还有许多需要改进的地方。 仅供参考：如有问题可发邮件询问 lilongsha@163.com 记法分析主程序:Wordanalysis.java package com.lfsf.lls; import java.util.Scanner; public class Wordanalysis { @Suppress
C++实现TINY语言词法分析与GetToken函数设计
本篇文章主要介绍了使用C++实现一个简单的词法分析器的过程，目的是让学生通过实践学习如何针对DFA（Deterministic Finite Automaton，确定型finite状态自动机）转换图来解析TINY计算机语言的源程序。词法分析是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值