实验一 词法分析设计
实验学时:4 实验类型:综合 实验要求:必修
一、实验目的
通过本实验的编程实践,使学生了解词法分析的任务,掌握词法分析程序设 计的原理和构造方法,使学生对编译的基本概念、原理和方法有完整的和清楚的 理解,并能正确地、熟练地运用。
二、实验内容
用 VC++/VB/JAVA 语言实现对 C 语言子集的源程序进行词法分析。通过输 入源程序从左到右对字符串进行扫描和分解,依次输出各个单词的内部编码及单 词符号自身值;若遇到错误则显示“Error”,然后跳过错误部分继续显示 ;同时 进行标识符登记符号表的管理。
以下是实现词法分析设计的主要工作:
(1)从源程序文件中读入字符。
(2)统计行数和列数用于错误单词的定位。
(3)删除空格类字符,包括回车、制表符空格。
(4)按拼写单词,并用(内码,属性)二元式表示。(属性值——token 的机内 表示)
(5)如果发现错误则报告出错
6
(6)根据需要是否填写标识符表供以后各阶段使用。 单词的基本分类:
关键字:由程序语言定义的具有固定意义的标识符。也称为保留字例如 if、 for、while、printf ; 单词种别码为 1。
标识符:用以表示各种名字,如变量名、数组名、函数名;
常数: 任何数值常数。如 125, 1,0.5,3.1416;
运算符:+、-、*、/;
关系运算符: <、<=、= 、>、>=、<>; 分界符: ;、,、(、)、[、];
三、词法分析实验设计思想及算法 1、主程序设计考虑:
程序的说明部分为各种表格和变量安排空间。 在具体实现时,将各类单词设计成结构和长度均相同的形式,较短的关键字后面 补空。
k 数组------关键字表,每个数组元素存放一个关键字(事先构造好关键字表)。
s 数组------存放分界符表(可事先构造好分界符表)。为了简单起见,分界符、 算术运算符和关系运算符都放在 s 表中(编程时,应建立算术运算符表和关系运 算符表,并且各有类号),合并成一类。
id 和 ci 数组分别存放标识符和常数。
instring 数组为输入源程序的单词缓存。
outtoken 记录为输出内部表示缓存。
还有一些为造表填表设置的变量。
主程序开始后,先以人工方式输入关键字,造 k 表;再输入分界符等造 p 表。
主程序的工作部分设计成便于调试的循环结构。每个循环处理一个单词; 接收键盘上送来的一个单词;调用词法分析过程;输出每个单词的内部码。 例如,把每一单词设计成如下形式: (type,pointer)
其中 type 指明单词的种类,例如:Pointer 指向本单词存放处的开始位置。
7
还有一些为造表填表设置的变量。
主程序开始后,先以人工方式输入关键字,造 k 表;再输入分界符等造 p 表。
主程序的工作部分设计成便于调试的循环结构。每个循环处理一个单词; 接收键盘上送来的一个单词;调用词法分析过程;输出每个单词的内部码。 例如,把每一单词设计成如下形式: (type,pointer)
其中 type 指明单词的种类,例如:Pointer 指向本单词存放处的开始位置。
8
词法分析设计流程图
2、词法分析过程考虑
根据输入单词的第一个字符(有时还需读第二个字符),
判断单词类,产生类号:以字符 k 表示关键字;id 表示标识符;
ci 表示常数;s 表示分界符。
对于标识符和常数,需分别与标识符表和常数表中已登记的元素相比较, 如表中已有该元素,则记录其在表中的位置,如未出现过,将标识符按顺序填入 数组 id 中,将常数变为二进制形式存入数组中 ci 中,并记录其在表中的位置。 lexical 过程中嵌有两个小过程:一个名为 getchar,其功能为从 instring 中按 顺序取出一个字符,并将其指针 pint 加 1 ;另一个名为 error,当出现错误时, 调用这个过程,输出错误编号。
要求:所有识别出的单词都用两个字节的等长表示,称为内部码。第 一个字节为 t ,第二个字节为 i 。 t 为单词的种类。关键字的 t=1;分界符 的 t=2;算术运算符的 t=3;关系运算符的 t=4;无符号数的 t=5;标识符 的 t=6。i 为该单词在各自表中的指针或内部码值。表 1 为关键字表;表 2 为
9
分界符表;表 3 为算术运算符的 i 值;表 4 为关系运算符的 i 值。
10
四、实验要求
取字符和统计字符行列位置子程序
1、编程时注意编程风格:空行的使用、注释的使用、缩进的使用等。 2、将标识符填写的相应符号表须提供给编译程序的以后各阶段使用。 3、根据测试数据进行测试。测试实例应包括以下三个部分:
全部合法的输入。
各种组合的非法输入。 由记号组成的句子。
4、词法分析程序设计要求输出形式: 例:输入 VC++语言的实例程序:
If i=0 then n++; a<= 3b %); 输出形式为:
单词 二元序列 类型 位置(行,列)
for i
=
(单词种别,单词属性)
(1,for ) 关键字
( 6,i ) 标识符
( 4,= ) 关系运算符
(1,1) (1,2) (1,3)
11
0 then n ++ ;
a <= 3b %
)
;
( 5,0 )
( 1,then)
(6,n ) Error ( 2, ; )
(6,a ) (4,<= ) Error Error
( 2, ) ) ( 2, ; )
常数 (1,4) 关键字 (1,5) 标识符 (1,6) Error (1,7) 分界符 (1,8) 标识符 (2,1) 关系运算符 (2,2) Error (2,4) Error (2,4)
分界符 (2,5) 分界符 (2,6)
五、实验步骤
1、根据流程图编写出各个模块的源程序代码上机调试。
2、 编制好源程序后,设计若干用例对系统进行全面的上机测试,并通过所设计 的词法分析程序;直至能够得到完全满意的结果。
3、书写实验报告 ;实验报告正文的内容:
功能描述:该程序具有什么功能?
程序结构描述:函数调用格式、参数含义、返回值描述、函数功能;函数 之间的调用关系图。
详细的算法描述(程序总体执行流程图)。
给出软件的测试方法和测试结果。
实验总结 (设计的特点、不足、收获与体会)。
import java.io.IOException;
import java.io.InputStreamReader;
public class Q1{
private char ch;
private StringBuilder inString = new StringBuilder();
private StringBuilder outToken = new StringBuilder();
private int i;
private int j;
private int row;
private int line;
public void startAnalyze() {
while(j < inString.length()){
getChar(); getBC();
if(isLetter()){
while(isLetter() || isDigit()){
concat(); getChar();
}
retract();
if(reserve()){
formatPrint(1);
}else{
// insertId();
formatPrint(6);
}
}else if(isDigit()){
while(isDigit()){
concat(); getChar();
}
if (isLetter()){
while (isLetter()){
concat(); getChar();
}
retract();
formatPrint(0);
continue;
}
retract();
// insertCount();
formatPrint(5);
}else{
if(isOther()){
concat();
getChar();
if(ch != '\0'){
if(isOther()){
concat();
}else {
retract();
}
}
formatPrint(getType());
}else{
concat();
formatPrint(0);
}
}
}
}
private int getType() {
int i = 0;
while (i < p.length){
if(p[i].equals(outToken.toString())){
break;
}
i++;
}
if(i < 6){
return 2;
}else if(i < 10){
return 3;
}else if(i < 16){
return 4;
}else{
boolean flag1 = false;
boolean flag2 = false;
for(int k = 0; k < 6; k++){
if(p[k].charAt(0) == outToken.toString().charAt(0)){
flag1 = true;
}
if(p[k].charAt(0) == outToken.toString().charAt(1)){
flag2 = true;
}
}
if(flag1 && flag2){
retract();
outToken.delete(1, 2);
return 2;
}
return 0;
}
}
public void getChar() {
if(j < inString.length()){
ch = inString.charAt(j++);
line++;
}else{
ch = '\0';
}
}
public void getBC(){
while(ch == ' ' || ch == '\t' || ch == '\n' || ch == '\r'){
if(ch == '\n'){
row++;
line = 1;
}
getChar();
}
}
public boolean reserve(){
for(int i = 0; i < k.length; i++){
if(k[i].equals(outToken.toString())) return true;
}
return false;
}
public void concat() {
outToken.append(ch);
}
public void retract(){
// if(j <= inString.length()){
j--;
line--;
// }
}
public void insertId(){
}
public void insertCount(){
}
public boolean isDigit(){
return Character.isDigit(ch);
}
public boolean isLetter(){
return Character.isLetter(ch);
}
public boolean isOther(){
for(int i = 0; i < p.length; i++){
if(p[i].equals(String.valueOf(ch))){
return true;
}
}
return false;
}
public void formatPrint(int type){
String s = outToken.toString();
switch (type){
case 0:
System.out.printf("%s\tError\tError\t(%d, %d)\n", s, row, line - s.length());
break;
case 1:
System.out.printf("%s\t(1, %s)\t关键字\t(%d, %d)\n", s, s, row, line - s.length());
break;
case 2:
System.out.printf("%s\t(2, %s)\t分界符\t(%d, %d)\n", s, s, row, line - s.length());
break;
case 3:
System.out.printf("%s\t(3, %s)\t算数运算符\t(%d, %d)\n", s, s, row, line - s.length());
break;
case 4:
System.out.printf("%s\t(4, %s)\t关系运算符\t(%d, %d)\n", s, s, row, line - s.length());
break;
case 5:
System.out.printf("%s\t(5, %s)\t常数\t(%d, %d)\n", s, s, row, line - s.length());
break;
case 6:
System.out.printf("%s\t(6, %s)\t标识符\t(%d, %d)\n", s, s, row, line - s.length());
break;
default:
break;
}
outToken.delete(0, outToken.length());
}
// private HashSet<String> id = new HashSet<>();
// private HashSet<String> ci = new HashSet<>();
private String[] k;
private String[] p;
public Q1 () throws IOException {
k = new String[] {"do", "end", "for", "if", "printf", "scanf", "then", "while"};
p = new String[] {",", ";", "(", ")", "[", "]", "+", "-", "*", "/", "<", "<=", "=", ">", ">=", "<>"};
InputStreamReader reader = new InputStreamReader(Q1.class.getResourceAsStream("Q1"));
for(int ch; (ch = reader.read()) != -1; ){
inString.append((char)ch);
}
row = 1; line = 1;
}
public static void main(String[] args) throws IOException {
Q1 main = new Q1();
main.startAnalyze();
}
}