编写一个词法分析，对于输入的一段程序，可以获取该程序的单词符号。

编写一个程序，对于输入的一段程序，可以获取该程序的单词符号。单词符号的类别有基本字、标识符、常数、算符和界符。关键字为基本字，由字母组成，如int、for和while；变量名和函数名为标识符，由字母和数字构成，如fun1和age；固定不变的数值为常数，如12、13.86和25e8(科学计数法)；算符如+、-、*、/、%、&&；界符如{、[、(、 ；和：等。

 如，若输出源程序如下，

public static void main (String [] args) { 
    double sum5 = 0.0;
for ( int i=1;i<5;i++) {
sum5=sum5+(i+10);
sum5=sum5+(i*2);
    }
}

则输出如下，

public 基本字

static 基本字

void 基本字

main 标识符

( 界符

String基本字

[ 界符

] 界符

args标识符

)  界符

{ 界符
double基本字

sum5标识符

= 算符

0.0 常数

; 界符

for基本字

( 界符

int 基本字

i标识符

=算符

1常数

; 界符

i标识符

<算符

5常数

; 界符

i标识符

++算符

)  界符

{ 界符

sum5 标识符

= 算符

sum5 标识符

+ 算符

(界符

i标识符

+ 算符

10常数

) 界符

; 界符

sum5 标识符

= 算符

sum5 标识符

+  算符

(界符

i 标识符

*  算符

2常数

) 界符

;  界符

}界符
}界符

 

提示，要想写出满足上述要求的词法分析器，需要有三个步骤。

(1) 了解该语言的单词符号

(2) 为单词符号构对应造状态转换图。状态转换图的构造可以参考课本P41(图3.2)和P43(图3.3)

(3) 根据状态转图的结构进行计算机实现。

Java代码解决：

package Bianyiyuanli.ThirdWeek;

import java.util.Arrays;
import java.util.List;
import java.util.Scanner;

public class Word {

	static Scanner sc = new Scanner(System.in);

	// 保存关键字
	private static List<String> KeyWords;
	// 保存操作符
	private static List<String> Operators;
	// 保存界符
	private static List<String> Boundarys;

	private static List<String> Spaces;
	// 初始化
	static {
		// 关键字数组 --> 关键字列表
		String[] keywordArr = { "public", "private", "protected", "short",
				"int", "long", "char", "float", "double", "boolean", "static",
				"void", "for" };
		KeyWords = Arrays.asList(keywordArr);

		// 操作符数组 --> 操作符列表
		String[] operatorArr = { "+", "-", "*", "/", "%", "=", ">", "<", "&" };
		Operators = Arrays.asList(operatorArr);

		// 界符数组 --> 界符列表
		String[] boundaryArr = { "" + '{', "" + '}', "" + '[', "" + ']',
				"" + '(', "" + ')', "" + ';' };
		Boundarys = Arrays.asList(boundaryArr);

		// 空格字符数组 --> 空格字符列表
		String[] SpaceArr = { " ", "\t", "\n" };
		Spaces = Arrays.asList(SpaceArr);
	}
	static boolean isDelimiter = false;//是否有分隔符

	// 字符串缓冲
	static StringBuffer strb = new StringBuffer();

	public static void main(String[] args) {
		
		String inStr = "";
		// 1.获取字符串
		while (!sc.hasNext("---")) {
			inStr = sc.nextLine();
			inStr = inStr + " ";
			for (char ch : inStr.toCharArray()) {
				match(ch);
			}
		}
			}

	static void match(char ch) {
		// 分割符缓冲
		StringBuffer bouStrb = new StringBuffer();
		// 1. 判断字符类型
		/**
		 * (空格|操作符|界符)都是(关键字|标识符|数字)的分割符
		 * 即，任意两个(关键字|标识符|数字)之间不可直接相连,而无分割符(空格|操作符|界符)
		 */
		// 1.0 空格,返回空格
		if (Spaces.indexOf(ch + "") >= 0) {
			isDelimiter = true;
		}
		// 1.1. 操作符, 返回"operator"
		if (Operators.indexOf(ch + "") >= 0) {
			isDelimiter = true;
			bouStrb = new StringBuffer(ch + " 是操作符");
		}
		// 1.2 界符, 返回"boundary"
		if (Boundarys.indexOf(ch + "") >= 0) {
			isDelimiter = true;
			bouStrb = new StringBuffer(ch + " 是界符");
		}
		// 2. 如果是分割符，
		/**
		 * 判断strb中有缓冲字符串， 2.1 若有，检查其是不是常数(暂不接受负数) 2.1.1 若是, 输出字符串,
		 * 并标识该字符串为constant 2.1.2 若不是, 检查在不在关键字表中， 2.1.2.1 若在,
		 * 输出字符串,并标识该字符串为keyword 2.1.2.2 若不在, 输出字符串,并标识该字符串为identifier
		 * 
		 * 还原变量初始设置，并退出
		 */
		if (isDelimiter) {
			if (strb.length() > 0) {
				if (strb.charAt(0) >= '0' && strb.charAt(0) <= '9') {
					System.out.println(strb + " 是常数");

				} else if (KeyWords.indexOf(strb.toString()) >= 0) {
					System.out.println(strb + " 是关键字");
				} else {
					System.out.println(strb + "是标识符 ");
				}
			}
			if (bouStrb.length() > 0)
				System.out.println(bouStrb);
			strb.setLength(0);
			isDelimiter = false;
			return;
		}

		// 3. 进行到该步，说明字符不是分割符,则把该字符追加到strb中即可
		strb.append(ch);

	}

}