语法分析器 java实验报告_词法分析器实验报告.doc

Java 语言词法分析器

班级学号：1120111822 姓名：徐少杰

实验目的

强化对系统软件综合工程实现能力、规划能力的训练；

加强对词法分析原理、方法和基本实现技术的理解。

实验内容

用 C++作为宿主语言完成 Java 语言词法分析器的设计和实现。

具体要求为：使用 DFA 实现词法分析器的设计；实现对 Java 源程序中注释的过滤；利

用两对半缓冲区从文件中逐一读取单词； 词法分析结果属性字流存放在独立文件中； 统计源

程序每行单词的数和整个源文件单词数；具有报告词法错误和出错位置(源程序行号和

该行字符)的功能。

l FA 设计

非零数字：{1, 2, 3, 4, 5, 6, 7, 8, 9}

数字：{非零数字, 0}

八进制数字：{0, 1, 2, 3, 4, 5, 6, 7}

十六进制数字：{数字, a, b, c, d, e, f, A, B, C, D, E, F}

字母：{a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p, q, r, s, t, u, v, w, x, y,

z, A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Y, Z}

标识符首字符：{字母, _, $}

标识符字符：{标识符首字符, 数字}

特殊字符：{!, %, &, *, ?, +, -, :, , ^, |, ~}

关键字：{abstract, boolean, break, byte, case, catch, char, class, const, continue,

default, do, double, else, extends, false, final, finally, float, for, goto, if,

implements, import, instanceof, int, interface, long, native, new, null, package,

private, protected, public, return, short, static, super, switch, synchronized,

this, throw, throws, transient, true, try, void, volatile, while}

运算符：{-, --, -=, !, !=, %, %=, &, &&, &=, *, *=, /, /=, ?, :, ^, ^=, |, ||, |=,

~, +, ++, +=, , >=, >>, >>=, >>>, >>>=}

l 数据结构说明

程序中使用 int 类型定义了一系列常量来表示单词的类型属性与详细属性。例如单词

“+=”的类型属性为 T_ASSIGN(0x110) ，表示赋值类运算符；详细属性为 P_PLUSEQ(96)，

表示相加赋值。二者的映射关系存储在数组 ATTR_MAP 中。对于运算符类单词，还定义了其

6

优先级属性，存储在数组 PRI_MAP 中。

Position 类用于存储扫描器扫描到的字符位置，其 line 与 col 属性分别表示字符所在

行与列，Set 方法用于为 Position 对象赋值，Reset 方法将行、列置零。

+Reset()

+Set(in l : int,in c :int)

+line : int

+col :int

Position

priamp 结构用于存储各类运算符及其优先级之间的映射关系。

attramp 结构用于存储单词及其类型属性、详细属性之间的映射关系。具体关系参见附

录表 1。

l 程序说明

使用本程序，只需运行可执行文件“JavaLex.exe” ，依提示输入待分析的 java 源文件

名，回车。程序随即将词法分析的属性字流写入名为“java 源文件名_out.txt”的文件，

错误列表写入名为“java 源文件名_err.txt”的文件。辅助提示息(如单词总数)显示

在控制台上。

属性字流的格式如下：

N: ( L1, C1)-( L2, C2) (Type) (Detail) [Token]-[Priority: P]

u N： 本行的第 N 个单词；

u L1、C1： 单词的起始行、列；

u L2、C2： 单词的结束行、列；

u Type： 单词的类型属性代码；

u Detail： 单词的详细属性