编制一个读单词过程,源程序为一个文件,读取该文件,识别出各个具有独立意义的单词,即基本保留字、标识符、常数、运算符、界符五大类。并依次输出各个单词的内部编码及单词符号自身值。...

该实验旨在理解词法分析器的功能,通过状态转换图实现。程序读取文件,识别保留字、标识符、常数、运算符和界符五类单词,输出它们的内部编码和符号值。保留字如'if'、'int'等编码为1,标识符编码为2,常数编码为3,运算符编码为4,界符编码为5。
摘要由CSDN通过智能技术生成

实验1 根据状态转换图手工构造词法扫描器

一、实验目的

1. 理解词法分析器的基本功能

2. 理解词法规则的描述方法

3. 理解状态转换图及其实现

4. 能够编写简单的词法分析器

 

二、实验平台

任选

 

三、实验内容

编制一个读单词过程,源程序为一个文件,读取该文件,识别出各个具有独立意义的单词,即基本保留字、标识符、常数、运算符、界符五大类。并依次输出各个单词的内部编码及单词符号自身值。

单词的内部编码如下:

1、保留字:if、int、for、while、do、return、break、continue;单词种别码为1;

2、标识符:除保留字外的以字母开头,后跟字母、数字的字符序列;单词种别码为2;

3、常数为无符号整形数;单词种别码为3;

4、运算符包括:+、-、*、/、=;单词种别码为4;

5、分隔符包括:,、;、{、}、(、); 单词种别码为5。

源代码:

 

/***
 * 信 1605-3 20163432 张运涛
 * 编制一个读单词过程,源程序为一个文件,读取该文件,识别出各个具有独立意义的单词,
 * 即基本保留字、标识符、常数、运算符、界符五大类。并依次输出各个单词的内部编码及单词符号自身值。
 */
 
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.util.Arrays;
import java.util.List;
import java.util.Scanner;


 
public class Word {
 
    static Scanner sc = new Scanner(System.in);
 
    // 保存关键字
    private static List<String> KeyWords;
    // 保存操作符
    private static List<String> Operators;
    
实验一:词法分析 一、实验目的 通过设计一个具体的词法分析程序,加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个单词过程,从输入的源程序中,识别各个具有独立意义单词,即基本保留字标识符常数运算符、分隔五大类。并依次输出各个单词内部编码单词符号自身。 二、实验预习提示 1、 词法分析器的功能和输出格式 词法分析器的功能是输入源程序输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码,单词符号的属性)。本实验中,采用的是一类符号对应一个种别码的方式。 2、 单词的BNF表示 ----> ----> ----> + ----> - 等等 3、 模块结构(见课本P95-96)(可根据自己的理解适当修改) 三、实验过程和指导: (一) 准备: 1. 阅课本有关章节,明确语言的语法,写基本保留字标识符常数运算符、分隔和程序例。 2. 初步编制好程序。 3. 准备好多组测试数据。 (二) 上机: (三) 程序要求: 1. 要求用C++Builder或者Dephi或者VC、VB等可视化编程工具编写;要求有界面(即一般windows下应用程序界面)。 2. 输入为某语言源代码。 程序输入/输出示例: 如源程序为C语言。输入如下一段: main() { int a,b; a=10; b=a+20; } 要求输出如下(并以文件形式输出)。 (2,”main”) (5,”(“) (5,”)“) (5,”{“} (1,”int”) (2,”a”) (5,”,”) (2,”b”) (5,”;”) (2,”a”) (4,”=”) (3,”10”) (5,”;”) (2,”b”) (4,”=”) (2,”a”) (4,”+”) (3,”20”) (5,”;”) (5,”}“) 注:为右大括号 要求(可根据实际情况加以扩充和修改): 识别保留字:if、int、for、while、do、return、break、continue等等,单词种别码为1。 其他的标识符单词种别码为2。 常数为无符号数,单词种别码为3。 运算符包括:+、-、*、/、=、>、=、<=、!= ;单词种别码为4。 分隔包括: “,”“;”“(”“)”“{”“}”等等, 单词种别码为5。 (四) 程序思路(仅供参考): 0. 定义部分:定义常量、变量、数据结构。 1. 初始化:从文件源程序输入到字缓冲区中。 2. 取单词前:去掉多余空白。调用过程GETNB(); 3. 提取字组成单词,利用课本P97图4.5转换图构造单词扫描过程SCAN(),需要根据实际情况加以修改。 4. 判断单词的种别码,调用过程LOOKUP(); 5. 显示(导)结果。
一、实验目的: 通过设计编制调试一个具体的词法分析程序,加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个单词过程,从输入的源程序中,识别各个具有独立意义单词,即基本保留字标识符常数运算符、分隔五大类。并依次输出各个单词内部编码单词符号自身。(遇到错误时可显示“Error”,然后跳过错误部分继续显示) 二、实验预习提示 1、词法分析器的功能和输出格式 词法分析器的功能是输入源程序输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码,单词符号的属性)。本实验中,采用的是按类来安排种别码的方式。 2、部分单词的BNF表示(可参考教材43页的状态转换图) -> ->|| |ε -> -> |ε -> + -> - -> > -> >= 3、 做词法分析器需要把对象语言的词法全部描述来,在这我们取C语言子集,它的词法如下: (1)关键字 main if else int return void while…….. 所有的关键字都是小写。 (2)专用符号 = + - * / <= > >= == != ; : , { } [ ] ( ) (3)空格和空白、制表和换行。 空格一般用来分隔ID、NUM、专用符号关键字,在词法分析阶段通常被忽略。 各种单词符号的种别码,这是一种符号一个编码的设计。只供参考! 单词符号 种别码 单词符号 种别码 main 2 [ 28 int 1 ] 29 char 3 { 30 If 4 } 31 else 5 , 32 for 6 : 33 while 7 ; 34 ID 10 > 35 NUM 20 = 37 + 22 +”,当前字为’>’,此时,分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢?显然,只有知道下一个是什么才能下结论。于是分析器入下一个’+’,这时可知应将’>’解释为大于运算符。但此时,超前一个’+’,所以要回退一个,词法分析器才能正常运行。在分析标识符,无符号整数等时也有类似情况。 5、模块结构 见附图 三、实验过程和指导: (一)准备: 1.阅课本有关章节,明确语言的语法,写基本保留字标识符常数运算符、分隔和程序例。 2.编制好程序。 3.准备好多组测试数据。 (二)上机调试: (三)程序要求: 程序输入/输出示例: 如源程序为C语言。输入如下一段: main() { int a,b; a = 10; b = a + 20; } 要求输出如右图。 (2,“main”) (5,“(” ) (5,“ )” ) (5,“{ ” ) (1,“int” ) (2,“a” ) (5,“,” ) (2,“b” ) (5,“;” ) (2,“a” ) (4,“=” ) (3,“10” ) (5,“;” ) (2,“b” ) (4,“=” ) (2,“a” ) (4,“+” ) (3,“20” ) (5,“;” ) (5,“}” ) 说明: 识别保留字:if、int、for、while、do、return、break、continue; 单词种别码为1。 其他的都识别标识符单词种别码为2。 常数为无符号整形数;单词种别码为3。 运算符包括:+、-、*、/、=、>、=、<=、!= ;单词种别码为4。 分隔包括:,、;、{、}、(、); 单词种别码为5。 以上为参考,具体可自行增删。 程序思路(参考): 这里以开始定义的C语言子集的源程序作为词法分析程序的输入数据。在词法分析中,自文件头开始扫描源程序,一旦发现合“单词”定义的源程序串时,将它翻译成固定长度的单词内部表示,并查填适当的信息表。 经过词法分析后,源程序串(源程序的外部表示)被翻译成具有等长信息的单词串(源程序内部表示),并产生两个表格:常数表和标识符表,它们分别包含了源程序中的所有常数和所有标识符。 0.定义部分:定义常量、变量、数据结构。 1.初始化:从文件源程序全部输入到字缓冲区中。 2.取单词前:去掉多余空白。 3.取单词后:去掉多余空白(可选,看着办)。 4.取单词:利用实验一的成果单词的每一个,组成单词,分析类型。(关键是如何判断取单词结束?取到的单词是什么类型的单词?) 5.显示结果。 为了设计好程序,注意以下事情: 1.模块设计:将程序分成合理的多个模块(函数),每个模块做具体的同一事情。 2.写(画)设计方案:模块关系简图、流程图、全局变量、函数接口等。 3.编程时注意编程风格:空行的使用、注释的使用、缩进的使用等。
词法分析 一、实验目的: 通过设计编制调试一个具体的词法分析程序,加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个单词过程,从输入的源程序中,识别各个具有独立意义单词,即基本保留字标识符常数运算符、分隔五大类。并依次输出各个单词内部编码单词符号自身。(遇到错误时可显示“Error”,然后跳过错误部分继续显示) 二、实验说明 1、 词法分析器的功能和输出格式 词法分析器的功能是输入源程序输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码,单词符号的属性)。本实验中,采用的是一类符号一种别码的方式。 2、 单词的BNF表示 -> ->|| |ε -> -> |ε -> + -> - -> > -> >= 三、实验要求 (一)准备: 1.阅课本有关章节,明确语言的语法,写基本保留字标识符常数运算符、分隔和程序例。 2.初步编制好程序。 3.准备好多组测试数据。 (二)上课上机: 将源代码拷贝到机上调试,发现错误,再修改完善。 第二次上机调试通过。 (三)程序要求: 程序输入/输出示例: 如源程序为C语言。输入如下一段: main() { int a,b; a = 10; b = a + 20; } 要求输出如下: (2,”main”) (5,”(“) (5,”)“) (5,”{“) (1,”int”) (2,”a”) (5,”,”) (2,”b”) (5,”;”) (2,”a”) (4,”=”) (3,”10”) (5,”;”) (2,”b”) (4,”=”) (2,”a”) (4,”+”) (3,”20”) (5,”;”) (5,”}“) 要求: 识别保留字:if、int、for、while、do、return、break、continue; 单词种别码为1。 其他的都识别标识符单词种别码为2。 常数为无符号整形数;单词种别码为3。 运算符包括:+、-、*、/、=、>、=、<=、!= ; 单词种别码为4。 分隔包括:,、;、{、}、(、); 单词种别码为5。 以上为参考,具体可自行增删。 (四)程序思路 这里以开始定义的C语言子集的源程序作为词法分析程序的输入数据。在词法分析中,自文件头开始扫描源程序,一旦发现合“单词”定义的源程序串时,将它翻译成固定长度的单词内部表示,并查填适当的信息表。经过词法分析后,源程序串(源程序的外部表示)被翻译成具有等长信息的单词串(源程序内部表示),并产生两个表格:常数表和标识符表,它们分别包含了源程序中的所有常数和所有标识符。 0.定义部分:定义常量、变量、数据结构。 1.初始化:从文件源程序全部输入到字缓冲区中。 2.取单词前:去掉多余空白。 3.取单词后:去掉多余空白(可选,看着办)。 4.取单词:利用实验一的成果单词的每一个,组成单词,分析类型。(关键是如何判断取单词结束?取到的单词是什么类型的单词?)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值