java简单实现词法分析

最新推荐文章于 2021-06-07 18:00:13 发布
最新推荐文章于 2021-06-07 18:00:13 发布
阅读量2k 收藏 9
点赞数 3
分类专栏： java学习 文章标签： 编译原理 词法分析 java实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuexilangren1/article/details/88885795
版权

词法分析

词法分析过程

  • 作为第一阶段，任务是从左到右逐个字符读入。对字符流进行扫描和分解，识别出一个个单词。

分析逻辑

  • 读取测试数据
  • 转化为字符流
  • 设计算法分析字符流，产生相应档次
    以c语言为例：标识符、整数（为了简单）、分界符、运算符、注释符、关键字。
    能力有限，本人只能分解出（标识符、关键字）（分界符、运算符）

核心算法实现

标识符：或字母开头，后面、字母、数字
整数：数字开始后面都是数字

思路读取一个字符，判断是 字母 、数字、、运算符
字母，判断下一个 是否是字母、、数字_ ,否则完成一个成分
数字，判断下一个 是否是数字，否则完成一成分
，与字母类似
default：则是运算符，判断下一个是否是字母数字，否则完成一成分
判断字母得出的是标识符和关键字，后期需要进行分离

public ArrayList<String> token(ArrayList<Character> c){
		ArrayList<String> a = new ArrayList<String>();
		String a1 = "";
		ListIterator<Character> it =  c.listIterator();

		boolean flag=true; //标志是否完成一部分
		int a2=0;
		while(it.hasNext()){
			
			if(flag==true){//判断是否开始新的识别
				char c1 = ' ';
				c1=it.next().charValue();
				if(this.num( c1)) {
					a2=1;
				}
					
				if(this.identifier(c1)) {
					a2=2;
					
				}
					
				if(c1=='_') {
					a2=3;
				}
					
				if(c1==' ') {
					continue;
				}
				
				if(!(this.num(c1)|this.identifier(c1)|c1=='_'|c1==' '))
					a2 =0;
				it.previous();
					
			}

			switch(a2){
				case 1 :
					a1 = a1 + (it.next()).toString();
					if(this.num(( it.next()).charValue())&&it.hasNext())
						flag=false;
					else {
						flag=true;
						a.add(a1);a1="";
					}
						
					it.previous();
					break;
				case 2 :
					a1 = a1 + (it.next()).toString();
					if(this.identifier(( it.next()).charValue())&&it.hasNext())
						flag=false;
						
					else {
						flag=true;
						a.add(a1);
						a1="";
					}
					it.previous();
					break;
				case 3 :
					a1 = a1 + (it.next()).toString();
					if(this.identifier((it.next()).charValue())&&it.hasNext())
						flag=false;
					else {
						flag=true;
						a.add(a1);a1="";
					}
					it.previous();
					break;
				default  :
					char c3 = it.next();
					a1 = a1 +(new Character(c3).toString());
					char c2 = ' ';
					if(it.hasNext())
						c2 = it.next().charValue();
					if(c2==' '|this.identifier(c2 )|this.num(c2)|!(c2=='='&&(c3=='>'|c3=='!'|c3=='=')))
						{flag=true;a.add(a1);a1="";}
					else {
						flag=false;
						
					}
					if(!(c2==' '))
						it.previous();
					break;
			}
		 }
		return a;
	}

源码

package temp;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.ListIterator;


interface Judge{
	//判断数字
	boolean num(char c);
	//判断标识符
	boolean identifier (char c);
	//获取测试数据，转化为String，分割单个字符存储
	ArrayList<Character> getString(String s);
	//获取相关文件数据
	HashMap<String,String> readData(String s);
	//保存当前识别的单个字符
	ArrayList<String> token(ArrayList<Character> c);
	 //获取string的name
	String getN(String s, String path);
	//获取种别
	String getT(String s, String path,String path1);
}
class Word implements Judge{
	public boolean num(char c){
		if('0'<=c && c<='9')
			return true;
		else
			return false;
			
	}
	public boolean identifier(char c){
		if(c=='_'|('a'<=c && c<='z')|('A'<=c && c<='Z'))
			return true;
		else
			return false;
	}
	public ArrayList<Character>  getString(String s){
		BufferedReader b1 = null ;
		
		ArrayList<Character> c = new ArrayList<Character>();
		try{
			InputStreamReader file = new InputStreamReader(new FileInputStream(s),"utf-8");
			b1 = new BufferedReader(file);
			int ch ;
			while((ch= b1.read())!=-1){
				if(ch==10|ch==11|ch==13|ch==9)
					c.add(' ');
				else
					c.add((char)ch);				
			}
		}catch(IOException e){
			e.printStackTrace();
		}
		
		return c;
	}
	public HashMap<String,String> readData(String s){
		BufferedReader b1 = null;
		
		HashMap<String,String> m = new HashMap<String,String>();
		try{
			InputStreamReader file = new InputStreamReader(new FileInputStream(s),"utf-8");
			b1 = new BufferedReader(file);
			String line;
			while((line=b1.readLine()) != null){
				String[] s1 = line.split(" ");
				int i = 0;
				while(i<s1.length){
					m.put(s1[i],s1[++i]);
					i++;
				}
			}
		}catch(IOException e){
			e.printStackTrace();
		}
		
		return m;
	}
	//将单个字符，识别成相应的字符串存储
	public ArrayList<String> token(ArrayList<Character> c){
		ArrayList<String> a = new ArrayList<String>();
		String a1 = "";
		ListIterator<Character> it =  c.listIterator();

		boolean flag=true; //标志是否完成一部分
		int a2=0;
		while(it.hasNext()){
			
			if(flag==true){//判断是否开始新的识别
				char c1 = ' ';
				c1=it.next().charValue();
				if(this.num( c1)) {
					a2=1;
				}
					
				if(this.identifier(c1)) {
					a2=2;
					
				}
					
				if(c1=='_') {
					a2=3;
				}
					
				if(c1==' ') {
					continue;
				}
				
				if(!(this.num(c1)|this.identifier(c1)|c1=='_'|c1==' '))
					a2 =0;
				it.previous();
					
			}

			switch(a2){
				case 1 :
					a1 = a1 + (it.next()).toString();
					if(this.num(( it.next()).charValue())&&it.hasNext())
						flag=false;
					else {
						flag=true;
						a.add(a1);a1="";
					}
						
					it.previous();
					break;
				case 2 :
					a1 = a1 + (it.next()).toString();
					if(this.identifier(( it.next()).charValue())&&it.hasNext())
						flag=false;
						
					else {
						flag=true;
						a.add(a1);
						a1="";
					}
					it.previous();
					break;
				case 3 :
					a1 = a1 + (it.next()).toString();
					if(this.identifier((it.next()).charValue())&&it.hasNext())
						flag=false;
					else {
						flag=true;
						a.add(a1);a1="";
					}
					it.previous();
					break;
				default  :
					char c3 = it.next();
					a1 = a1 +(new Character(c3).toString());
					char c2 = ' ';
					if(it.hasNext())
						c2 = it.next().charValue();
					if(c2==' '|this.identifier(c2 )|this.num(c2)|!(c2=='='&&(c3=='>'|c3=='!'|c3=='=')))
						{flag=true;a.add(a1);a1="";}
					else {
						flag=false;
						
					}
					if(!(c2==' '))
						it.previous();
					break;
			}
		 }
		return a;
	}
	public String getN(String s,String path){//该方法需实现识别整数、标识符、关键字（包括关键字和运算符和分隔符），首先识别集合范围小的最终得出补集（标识符）
		HashMap<String,String> h =readData(path);
		try {							//通过是否产生异常判断整数
			Integer.valueOf(s);	
			return "整型常量";
		}catch(Exception e) {
			if(h.get(s)==null)
				return "标识符";
		}
		return h.get(s);
	}
	public String getT(String s,String path,String path1){
		HashMap<String , String > h = readData(path);
		
		try {
			Integer.valueOf(s);
			return "11";
		}catch(Exception e) {
			if(this.getN(s, path1)=="标识符")
				return "10";
		}
		return h.get(s);
	}
}
public class Test{
	public static void main(String args[]) throws IOException{
		File file  = new File("Result.txt");
		FileWriter f = new FileWriter(file.getName().intern(),true);
		//BufferedWriter b1 =  new BufferedWriter(f);
		Word w = new Word();
		ArrayList<Character> a = w.getString("src/temp/testdata.txt");
		ArrayList<String> b = w.token(a);
		ListIterator<String> i = b.listIterator();
		while(i.hasNext()) {
			String s = i.next();
			String s1 =w.getN(s,"src/temp/name.txt")+"\t--"+w.getT(s,"src/temp/type_code.txt","src/temp/name.txt")+"\t,"+s+"\n"; 
			System.out.print(s1);
			f.write(s1);
		
		}	
		f.flush();
		f.close();
		
	}
}

小结

  • 思路整理：
    首先判断整数常量，再判断标识符（包含关键字和标识符），最后判断符号（运算符和界符）
    由于关键字和运算符、界符是有限的可以进行分离（可以采用补集的思想，先分出小集合得出大集合）
  • 总结
    本次对于词法分析的实现，加深了编译原理里的词法规则的理解，即一个合法的单词的组成规则，理解了规则通过代码实现各种类型的判断。
    相关测试文件文件补充自行补充，如果相偷懒（不建议）转到本人下载。
xuexilangren1
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Java构造词法分析器+语法分析器完成编译原理实验
lovely__boy的博客
06-24 1735
功能概述： 根据简单语言的词法和各单词符号种别码表，编写C或C++语言源程序，实现针对该简单语言的词法分析器，然后构造语法分析器。 （1）文件struct.java定义单词符号的二元组结构、全局变量、关键字表的结束标志等。 （2）文件funs.java实现词法扫描算法scanner及其所需的各种基本操作算法。 （3）文件text.java调用scanner算法，实现词法分析器的功能。 所用知识：1.词法分析 2.语法分析 开发环境：Eclipse 2021 jdk1.8 //struct.java 将属性封
Java编译原理学习：二、词法分析
Walker_zmc的博客
03-08 900
package compile; /** * javac */ public class Cifa{ int a; int c=a+1; } 我们通过以上简单的类来看看词法分析的过程。以下是词法分析器设计的类图 Javac的主要词法分析器的接口类是com.sun.tools.javac.parser.Lexer，它的默认实现类是com.sum.tools.javac.pa...
Java词法分析器的设计与实现
轻松玩编程
07-14 5025
“生活充满了选择,而生活的态度就是一切。” 词法分析器的设计与实现 二级 学院：信息科学与技术学院 专 业：计算机科学与技术 班 级： xxxx 姓 名： 梦阳辰 学 号： xx 指导 老师： xx 成 绩： 词法分析器的设计与实现 目 录 摘 要---------------------------------------------------3 前 言-------------------------------------------.
词法分析 java版
qq_18272103的博客
06-07 298
词法分析 java版 基于java的语法分析的程序，基本功能已经实现了 这个是要求 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ： = + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit*
词法分析器(不讲武德java版）
Ich/liebe/dich的编程せかい
11-25 1377
一、实验目的 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、使用仪器、器材 计算机一台 操作系统：Windows10 编程软件：Intellij IDEA 三、实验内容及原理 1、待分析的C语言子集的词法 1） 关键字 main if else int return void while （都是小写） 2） 专用符号 = + — * / < <= < >= = = != ； ： ，{ } [ ] ( ) 3） 其他标记
（编译原理）java实现词法分析器
热门推荐
灰羽
10-30 3万+
1、闲话最近在学编译原理，需要用语言实现一个词法分析器，其实挺简单的，主要涉及一些语言字符串操作处理，如果会正则表达式的话，感觉实现这个会很简单，但是我并不会啊，然后自己用java实现了，也算是加强了对java的一些字符操作方法的使用。实现这个分析器，算法上基本上没什么难度，但是其中涉及的一些逻辑上的思考，说白了就是这么多种情况，有写情况还有交叉部分，你怎么让自己不绕进去，并且用代码实现自己的对这个
利用Java实现简单的词法分析器实例代码
08-31
众所周知编译原理中的词法分析算是很重要的一个部分，原理比较简单，不过网上大部分都是用C语言或者C++来编写，因为最近在学习Java，故用Java语言实现了简单的词法分析器。感兴趣的朋友们可以参考借鉴，下面来一起看...
java实现简单的词法分析
03-29
java实现简单的词法分析，对于了解编译原理的词法分析有一定的帮助，能力有限代码质量一般般，仅供初学者使用
Java--实现简单词法分析器.zip
05-31
在eclipse、Java环境下实现简单词法分析器： 1．输入：待词法分析的txt文档路径 2．输出： ①　单词串：每一个单词串均为一个WordString对象，所有单词串存放在List中（wordString） ②　符号表：存放在List中...
java实现C语言的词法分析器
10-19
使用java实现了基本的c语言词法分析器，实现的功能是对导入的DFA转换表进行词法分析，输出Token序列，并输出转换表。
java实现词法分析
06-02
自己写的java词法分析，代码结构完整，几乎每个地方都有注释，适合编译原理课设，亲测高分
词法分析器Java语言编写（附实验报告）
12-01
通过Java语言编写一个词法分析器完成输入是字符串（或源程序文本文件），输出是源程序中各单词的字符串、起止位置、词的类别。附带实验报告。
词法分析器和语法分析器java实现代码---
04-28
语法分析器和词法分析器的java实现代码，以证明可以，望各位下载。
词法分析器（Java实现）
12-30
自己写的课程作业词法分析器，大概一千行左右，支持从文本输入正则表达式构造出DFA。给出源程序能出token序列。
java 实现词法分析器以及语法分析器
06-29
由于这学期学了编译原理这门课，实验要求写词法分析器以及语法分析器，这才写的，不同网络其他的代码，我采用的是java实现的，也算费了好多脑细胞，希望能大伙看看咋样，不喜勿喷哦，各自学习就是了！
JAVA简单的词法分析程序
04-24
Java语言书写的词法分析器，文件输入和输出。
[源码和文档分享]基于Java实现的词法分析程序
12-06 236
一 需求分析 自己编写、调试一个词法分析程序，并对程序输入语句进行词法分析，从而更好的理解词法分析的原理。 二 程序设计 此程序用Java语言编写。程序读入一个内含程序语句的文本文件，对其中的内容进行分析，最终输出形式为<token类型, 识别的单词符号>的Token序列，token类型包括ID,KEYWORD, DIGIT, OPERATOR,...
java实现词法分析_编译原理(词法分析) Java 实现
weixin_29035147的博客
02-25 378
编译原理(词法分析) Java 实现编译原理(词法分析) Java 实现1. 项目目录2. 需要解释的源代码PROGRAM SOURCE;/*定义变量*/VAR X, Y, Z:INTEGER;A:INTEGER;B:INTEGER;//程序开始BEGINX := 5;A:= 0;WHILE X > 0 DOA:= A + X;A := X - 1;IF A = 10 THENB := ...
编译原理-词法分析器的java实现
Simple__Code的博客
09-04 3698
编译原理-词法分析器的java实现实验步骤编程环境实验步骤1. 构建DFA流程图3. 代码实现分析4.编号规定5.运行结果 实验步骤 编程环境 eclipse开发软件 实验步骤 1. 构建DFA 流程图 3. 代码实现分析 给标识符、常量等给定一个标识符 给定一个字符串，将字符串转换为字符数组 判断当前读入的字符是什么字符 根据DFA来判断和输出 4.编号规定 001:加法运算符 + 002:减法运算符 - 003:乘法运算符 * 004:除法运算符 / 005:左括号 （ 013:右括号 ）
java实现词法分析_Java 实现词法分析器
最新发布
05-31
在Java中，可以使用正则表达式和有限自动机（Finite Automata）来实现词法分析器。以下是一个简单的Java代码示例： ```java import java.util.regex.Matcher; import java.util.regex.Pattern; public class Lexer...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值