CS143 PA2 词法分析器

已于 2022-09-27 11:13:37 修改
阅读量474 收藏 3
点赞数 3
分类专栏： 编译原理 文章标签： 正则表达式
于 2022-09-13 20:59:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53369402/article/details/126841494
版权

PA2中使用flex生成一个词法分析器（lexical analyzer，又称scanner）。

我花了大概4-5天，30个小时左右，困扰我的主要是以下两点：

  1. 一开始不知道要做什么
  2. 正则表达式的匹配问题

得分：

flex

.flex文件的格式如下：

%{
	Declarations
%}
Definitions
%%
	Rules
%%
User subroutines

其中：

  • Declarations中可以用C++写声明，可以在这里面添加一些变量用于后面。
  • Definitions中可以给一段正则表达式命名，这样使程序可读性更强，如DIGIT [0-9]，格式与宏定义类似，详见这里。
  • Rules中写正则表达式以及匹配时执行的代码，详见这里和几个例子。
  • User subroutines可以不用管。

主要文件

cool.flex

需要补充的文件，在这里面填写正则表达式和代码等内容。

test.cl

用于测试的程序，但是不能涵盖所有情况，可以使用判题脚本进行更加全面地检查。

文件缺失问题

打开PA2下的README，它会让你检查你的文件夹下面是否有指定的几个文件，我使用的是老师提供的环境，缺少了几个文件，这些文件在这个包中可以找到：

链接：https://pan.baidu.com/s/13Sbfxah3E5PWwGpbwy2tVA
提取码：2paa

将缺少的文件放到共享文件夹中，然后在虚拟机中移动到正确的文件夹下就可以了。

准备

输出Hello World

通过一个简单的输出来熟悉一下做作业流程。

打开cool.flex，在rule处添加如下内容，该句中.*的意思是匹配任意一行，若匹配成功，则打印Hello World!：

.*	{ cout << "Hello World!"; }

在命令行处输入make lexer，生成词法分析器：

输入make dotest，进行测试：


样例中的每一行都会匹配.*，因此每行都导致输出Hello World!。

执行perl pa1-grading.pl判分，这行命令会用你写的规则生成词法分析器，并用更多的测试用例测试：

不通过的用例会像上面图片中一样显示，可以在grading目录下查看脚本中的测试用例，以及你的输出（第一次运行脚本后，grading目录就会出现）。

除此之外，为了详细地了解如何做以及做的对不对，我们可以用老师已经实现的一个词法分析器来标准输出，然后用标准输出与我们的输出进行比对——

老师实现的词法分析器：

对test.cl运行这个分析器，输入../../bin/reflexer test.cl：

在这里插入图片描述

通过比对自己的输出以及标准输出，来修改cool.flex。

作业流程

流程：修改cool.flex文件、判分、修改、重复直到满分。
下面从简单到困难，完成各个部分正则表达式的编写。

关键字和一些符号

所有关键字、符号及其代表的值可以在cool-parse.h文件中找到。

除了true和false的其他关键字大小写不敏感，而true和false的首字母必须小写。

阅读flex文档的Patterns部分，想要匹配大小写不敏感的字母，需要在前面添加?i:，如匹配大小写不敏感的class，要写：

?:class

因此，在Definition部分中写如下内容（包括多字符操作符），注意true、false和其他关键字格式不同：

DARROW      =>
ASSIGN		<-
LE			<=

CLASS		(?i:class)
INHERITS	(?i:inherits)
IF			(?i:if)
THEN		(?i:then)
ELSE		(?i:else)
FI			(?i:fi)
WHILE		(?i:while)
LOOP		(?i:loop)
POOL		(?i:pool)
LET			(?i:let)
IN			(?i:in)
FALSE		(f(?i:alse))
TRUE		(t(?i:rue))
ISVOID 		(?i:isvoid)
CASE		(?i:case)
ESAC		(?i:esac)
NEW			(?i:new)
OF			(?i:of)
NOT			(?i:not)

然后在rules部分添加：

{DARROW}	{ return DARROW; }
{ASSIGN}	{ return ASSIGN; }
{LE}		{ return LE; }
{CLASS}		{ return CLASS; }
{INHERITS}	{ return INHERITS; }
{IF}		{ return IF; }
{THEN}		{ return THEN; }
{ELSE}		{ return ELSE; }
{FI}		{ return FI; }
{WHILE}		{ return WHILE; }
{LOOP}		{ return LOOP; }
{POOL}		{ return POOL; }
{LET}		{ return LET; }
{IN}		{ return IN; }
{ISVOID} 	{ return ISVOID; }
{CASE}		{ return CASE; }
{ESAC}		{ return ESAC; }
{NEW}		{ return NEW; }
{OF}		{ return OF; }
{NOT}		{ return NOT; }
{TRUE}		{ 
      cool_yylval.boolean = true;
      return BOOL_CONST;		
}
{FALSE}		{ 
      cool_yylval.boolean = false;
      return BOOL_CONST;
}

要注意的是左侧{}中的单词与右侧返回的单词不是一个东西，左侧的代表的是我们刚刚在Definition中定义的正则表达式，而右侧的是C++语言中的宏定义，其实质是整数。

除此之外，理解一下这段是如何运行的，.cool文件作为输入，程序会调用int yylex()函数（关于这个函数，看这里），用正则表达式匹配输入的字符，若某一部分匹配成功，则执行右侧的代码，而yylex()的返回值就是代码中的返回值，如return NOT;就让yylex()返回了一个整数，这个整数代表关键字not。

yylex会反复执行直到读取文件结束。

整数Integer

当遇到整数时，代码中先在inttable中记录这个数字，然后返回INT_CONST，其指明这是一个整型：

[0-9]+	{ 
				cool_yylval.symbol = inttable.add_string(yytext); 
				return INT_CONST;
}

注意：

标识符identier

包括类型名和变量名两类：

类型名

大写字母开头，跟数字、字母、下划线：

[A-Z][a-zA-Z0-9_]*	{
					cool_yylval.symbol = idtable.add_string(yytext);
					return TYPEID;
}

变量名

小写字母开头，跟数字、字母、下划线：

[a-z][a-zA-Z0-9_]*	{
					cool_yylval.symbol = idtable.add_string(yytext);
					return OBJECTID;
}

操作符

多字符操作符，如<-，已经在关键字部分中写好了，剩下还有.、@、~、+、-、*、\、=、<：

[\.@~]		{ return yytext[0]; }
[\+\-\*\/\=\<]	{ return yytext[0]; }

其中yytext的类型是char*，即字符串，它的内容就是匹配成功的字符串。

标点符号

这部分也比较简单：

[\{\}\:\;\(\)\,]	{ return yytext[0]; }

空白符号

包括5个符号，遇到\n行数增加，遇到其他空白符跳过就可以了，被跳过的字符会原封不动地被打印在输出中。

\n	{ line_num++; curr_lineno = line_num;  }
[ \f\r\t\v]		/* --skip-- */

注意：

  • line_num是自己定义的一个全局变量，在Declaration部分添加就可以了。
  • curr_lineno是flex给我们提供的一个全局变量，用于记录当前的行数。

无效字符

这部分必须放在整个文件的最后，匹配所有没被正确的表达式匹配的字符。

. { 
    yylval.error_msg = yytext; 
    return ERROR;
}

注释

单行注释

--.*  /* ---skip--- */

.不会匹配换行符\n，因此这样写只会匹配一行。

多行注释

多行注释是比较难的部分。

在开始前，需要阅读flex文档中的第10章，了解一下这个flex的语法糖，这大大方便了我们的编写。

Cool语言的注释匹配模式与C/C++不同，看一个对比的例子：

(*   (*    *)

/*   /*    */

第一行的Cool注释报错，而第三行的C注释不会报错，这是因为Cool语言的注释会检查匹配的层数，(*有2个，但*)仅一个，不匹配。

为此，我们需要一个变量记录注释的层数，具体的规则如下所示：

  • 每遇到一个(*层数加1，遇到一个*)层数减1
  • 层数大于0表示在注释模式中
  • 层数从大于0减至0则退出注释模式
  • 若在一般模式下遇到*)则报错
  • 到文件结束时若层数依然大于0则报错

我们需要表示层数以及注释模式，这可以通过一个变量以及上面所说的语法糖实现，在Declaration中添加int deepth = 0表示层数，在Definition中添加：

%x 		COMMENT

用COMMENT表示注释模式。

至此，正则表达式如下：

"(*"				{ deepth = 1; BEGIN(COMMENT); }
<COMMENT><<EOF>>	{ 
                        cool_yylval.error_msg = "EOF in comment";
                        BEGIN(INITIAL);
                        return ERROR; 
}
<COMMENT>"(*"		{ deepth++; }
<COMMENT>"*)"		{ 
					  --deepth; 
					  if(deepth == 0) 
					  	BEGIN(INITIAL); 
}
<COMMENT>\\.		
<COMMENT>\n			{ line_num++; }
<COMMENT>"*"[^\)\*\n]	/* ---- eat anything ---- */
<COMMENT>.				/* ---- eat anything ---- */

\*\)	{
  cool_yylval.error_msg = "Unmatched *)";
  return (ERROR);
}

字符串

字符串匹配是最难的部分，一些规则老师没有在文档中说明。

这部分地匹配与上面的注释匹配比较类似，难点是对于'\0'的匹配、以及各种报错的先后顺序问题。

当在INITIAL的模式下遇到了"，那么就进入字符串匹配模式，在Definition中添加：

%x		STR

由于字符串中可能会遇到转义字符，我们再定义一个转义字符模式：

%x		STR_ESCAPE

我们还需要一个char*数组记录字符串，i表示当前的位置下标：

char* my_string;
int i;

在STR模式下进行处理的规则：

  • 遇到"，说明字符串结束了，代码中判断字符串是否合法，若非法则报错，否则将字符串添加到stringtable中。
  • 遇到'\n'，立即报错。
  • 遇到'\0'，做一个记录，但不报错，继续读取字符串。
  • 遇到'\'，进入STR_ESCAPE模式。
  • 遇到EOF即文件结束了，立即报错。
  • 遇到其他字符，则在my_string中添加。
  • 若字符串长度超过限度，则做一个记录，不报错，继续读取。

在STR_ESCAPE模式下：

  • 遇到n、b、f、t中的一个（记为x），则在my_string中添加'\x'，返回STR模式
  • 遇到'\0'，做一个记录，返回STR模式
  • 遇到EOF，报错
  • 遇到其他字符（记为x），在my_string中添加'x'，返回到STR模式。

报错规则和顺序如下：

  • 在读取过程中遇到了\n，则立即报Unterminated string constant，并返回INITIAL模式
  • 读取过程中若检查到字符串中有\0，则在读取结束时报String contains null character
  • 读取过程中若检查到字符串过长，则在读取结束时报String constant too long

最后，该部分代码实现如下：

{%

char* my_string;
int i;

#define MAX_ERROR_NUMBER 4
int* error_queue; /*错误队列*/
int error_size; /*记录错误个数*/
bool containNull;

%}

\"		{
          my_string = new char[MAX_STR_CONST];
          error_queue = new int[MAX_ERROR_NUMBER];
          i = 0;
          error_size = 0;
          BEGIN(STR);
}
<STR>\"		{
          curr_lineno = line_num;
          if (error_size > 0) {
            int error = error_queue[0];
            if (error == 1 || error == 3) {
	            containNull = false;
              if(error == 1) yylval.error_msg = "String contains null character";
              else yylval.error_msg = "String contains escaped null character";
              BEGIN(INITIAL);
              return ERROR;
            }
            if (error == 2) {
              yylval.error_msg = "String constant too long";
              BEGIN(INITIAL);
              return ERROR;
            }
          }
          yylval.symbol = stringtable.add_string(my_string);	
          BEGIN(INITIAL);
          return STR_CONST;
}
<STR>\\ { BEGIN(STR_ESCAPE); }
<STR,STR_ESCAPE><<EOF>> {
                          yylval.error_msg = "EOF in string constant";
                          BEGIN(INITIAL);
                          return ERROR;
}
<STR_ESCAPE>[nbft]  {
                      if (i < MAX_STR_CONST - 1) {
                        char cur = yytext[0];
                        if (cur == 'n') my_string[i++] = '\n';
                        else if (cur == 'b') my_string[i++] = '\b';
                        else if (cur == 'f') my_string[i++] = '\f';
                        else my_string[i++] = '\t';
                        
                      }
                      else { 
                            if(error_size < MAX_ERROR_NUMBER) 
				                      error_queue[error_size] = 2;
                            error_size++;
                      }
		      BEGIN(STR);
}
<STR_ESCAPE>\0  {
                  containNull = true;
                  if(error_size < MAX_ERROR_NUMBER) 
                    error_queue[error_size] = 3;
                  error_size++;
                  BEGIN(STR);
}
<STR_ESCAPE>[^\0]	{
                    if (i < MAX_STR_CONST - 1) {
                      if(yytext[0] == '\n') line_num++;
                      my_string[i++] = yytext[0];
                      BEGIN(STR);
                    } 
                    else { 
                          if(error_size < MAX_ERROR_NUMBER) 
                            error_queue[error_size] = 2;
                          error_size++;
			              }
}
<STR>\0		{
            containNull = true;
            if(error_size < MAX_ERROR_NUMBER) 
              error_queue[error_size] = 1;
            error_size++;
}
<STR>\n		{ 
		  line_num++;
		  curr_lineno = line_num;
		  if (containNull) {
			  	containNull = false;
                yylval.error_msg = "String contains null character";
                BEGIN(INITIAL);
                return ERROR;
		  }
		  yylval.error_msg = "Unterminated string constant";
		  BEGIN(INITIAL);
		  return ERROR;
}
<STR>.  {	
          if (i < MAX_STR_CONST - 1) {
            my_string[i++] = yytext[0];
          } 
          else {
            if(error_size < MAX_ERROR_NUMBER)
			        error_queue[error_size] = 2;
            error_size++;
          }
}
hhA0
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CS143 assignment PA2
FirMoonLight的博客
03-29 340
我在做这次的assignment之前，首先看了《flex&bison》的第一章和第二章，对flex有了初步的理解之后，理解题意，参考答案，以及做题，都有很大的提升。
C语言11-词法分析器
KarlingNans's Blog
01-13 480
文章目录关于单词统计词法分析器状态机转化为代码的常见方法就两种：判断词性的同时，拿到单词字符串 关于单词统计 因为连续空格算做一个。常规的算法如下： 选择一个标志，记录当前的是否为空格的状态，在状态切换之间，进行单词统计 代码实现如下: #include "stdafx.h" //统计单词个数 unsigned CountNumber(char* szInput) { unsigned...
Stanford CS143 速通PA2教程
ShowMeTheCod3的博客
08-13 1038
PA2是写一个词义分析器，重点在于理解flex的语法，然后是编写正则表达式。
CS143 PA3 语法分析器
weixin_53369402的博客
10-07 638
PA3要求我们实现语法分析器。
CS143-project2 局部特征匹配 Local Feature Matching
rain2211的博客
12-27 4328
本项目通过harris算法对图像进行兴趣点的检测和提取。然后计算兴趣点周围4*4区域的8个方向特征向量，最后对获取到的特征向量对进行匹配。本算法对旋转，缩放，亮度变化保持一定程度的稳定性。 环境： 操作系统：WIN7 实现平台：MATLAB2014a    本项目主要包括以下4部分： 特征点检测和提取(harris).生成特征算子(sift).图像匹配(match).实验DEMO
CS124_PA2
03-22
【标题】"CS124_PA2"是一个与计算机科学相关的项目作业，可能是大学课程CS124的一部分。从描述中我们无法获取更多的具体信息，但考虑到标签是"C++"，我们可以推测这是一个涉及C++编程语言的项目。C++是一种强大的、...
cs534_pa2
02-16
cs534_pa2
Stanford_CS224N_pa2
05-01
【标题】"Stanford_CS224N_pa2" 是斯坦福大学计算机科学课程CS224N的一个项目，这门课程主要关注自然语言处理（NLP）领域，使用深度学习技术。该项目可能是课程的第二部分，即项目作业2，旨在帮助学生深入理解和应用...
Stanford_CS224N_pa2_v2
04-30
Stanford_CS224N_pa2_v2 父母是：VP 1 3设定分数：V @VP-> _ V 0.11676232993197279 B_key是：V否@VP-> _ V 1 3
PA2
03-11
【标题】"PA2"可能是指一个编程作业或者项目，其中"PA"通常代表Programming Assignment。根据提供的信息，我们可以推测这可能是一个使用C++编程语言完成的任务。由于没有具体的项目描述，我们将基于C++的基础知识和...
cs143课程文件
10-12
cs143课程文件
编译原理实验decaf_PA2
04-28
清华大学计算机系编译原理实验。实验第二部分
miniJava-pa2:COMP 520 的 PA2 - 编译器
06-24
COMP 520：编译器 PA2 - 抽象语法树 编译器项目的第二个里程碑是为任何根据我们的 miniJava 语法在句法上有效的 miniJava 程序创建抽象语法树 (AST)。 此作业要求您结合 Java 运算符优先级规则，并使用本文档中概述的一组 AST 类构建正确的 AST，该类可在我们的课程网站上以包的形式提供。 miniJava 语法变化 此作业的语法是第一个作业中的 miniJava 语法。 但是，您不应该允许 loger 将--解析为两个减法运算符。 在完整的 Java 中--是应用于变量的前缀和后缀运算符，以分别对表达式中引用的变量的值进行前减或后减。 由于我们不会在 miniJava 中实现这个操作符，任何涉及--表达式都应该在 miniJava 中被禁止。 这里有些例子。 有效的miniJava 表达式： -b -(-b) - -b
Stanford公开课《编译原理》学习笔记(1~4课)
华为云官方博客
09-16 1459
【摘要】 编译原理基础 示例代码托管在：http://www.github.com/dashnowords/blogs B站地址：【编译原理】 Stanford公开课：【Stanford大学公开课官网】 课程里涉及到的内容讲的还是很清楚的，但个别地方有点脱节，任何看不懂卡住的地方，请自行查阅经典著作《Compilers——priciples, Techniques and Tools》(也...
编译原理第三版王生原pdf_CS143：编译原理 | 环境搭建HelloWorld
weixin_39938935的博客
11-23 4463
本文使用 Zhihu On VSCode 创作并发布本文是本人新开的坑的第一篇博客，另一个坑请看MIT 6.828 实现操作系统。从另一个坑的第一篇复制两段话：写成博客的目的是防止自己走马观花，花了一堆时间还什么都没学到。虽然我对我的表达能力很自信，但是我写博客的目的不是教给别人什么东西，而是逼迫自己认真操作、认真阅读。如果你的知识背景和我类似，你看我的博客将非常畅快，否则最好还是看原始的讲义。S...
为什么编译需要安装flex或者bison_CS143：编译原理 | 环境搭建HelloWorld
weixin_36413157的博客
01-29 303
本文使用 Zhihu On VSCode 创作并发布本文是本人新开的坑的第一篇博客，另一个坑请看MIT 6.828 实现操作系统。从另一个坑的第一篇复制两段话：写成博客的目的是防止自己走马观花，花了一堆时间还什么都没学到。虽然我对我的表达能力很自信，但是我写博客的目的不是教给别人什么东西，而是逼迫自己认真操作、认真阅读。如果你的知识背景和我类似，你看我的博客将非常畅快，否则最好还是看原始的讲义。S...
stanford cs143 Compilers 3.1/2 Lexical Analysis / Example
wineandchord
05-15 174
词法分析
CS143 环境搭建全流程
weixin_53369402的博客
09-04 1382
使用linux配置或使用老师提供的系统，两种方法的配置流程
CS143：编译原理实验PA1
SleepyShark的博客
03-06 450
基于面向对象方式实现CS143编译原理实验PA1
nemu pa2 riscv
最新发布
01-18
NEMU（New EMUlator）是一个用于模拟RISC-V内核的工具。RISC-V是一个基于精简指令集（RISC）的开放指令集架构（ISA），被广泛应用于各种设备和系统。 NEMU PA2是NEMU项目的第二个编程作业。作业的目标是实现一台基于RISC-V的计算机模拟器。通过PA2，我们将学习如何在计算机中模拟RISC-V指令集架构，从而更好地理解计算机体系结构的工作原理。 在PA2中，我们需要实现RISC-V指令集的一部分，并处理指令执行和结果复原的问题。具体而言，我们需要实现加载和存储指令、算术和逻辑指令以及条件分支和循环指令等。此外，我们还需要考虑异常和中断处理，以确保模拟的计算机能够正确地处理例外情况。 通过PA2的实现，我们将学习到如何模拟RISC-V计算机的不同组件，包括处理器、寄存器文件、内存和控制单元等。我们将通过理解指令的编码和执行过程来更深入地了解计算机体系结构的运行原理。 总的来说，NEMU PA2 RISC-V是一个用于实现RISC-V指令集架构的计算机模拟器工具，通过它我们可以更好地理解计算机体系结构的工作原理，并学会模拟和执行不同类型的指令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值