编译原理—yylex学习笔记

最新推荐文章于 2023-10-26 21:01:24 发布
最新推荐文章于 2023-10-26 21:01:24 发布
阅读量1w 收藏 24
点赞数 7
分类专栏： 编译原理 文章标签： 编译原理 yylex
yyleng
只要扫描程序匹配标记时，标记的文本就存储在以空字符终止的字符串yytext中，而且它的长度存储在yyleng中，yyleng中的长度与由strlen(yytext)返回的值是相同的。
 
yyless()
从与规则相关的代码中调用yyless(n)，这条规则推回除标记开头的几个字符以外的所有字符。当决定标记之间边界的规则不方便表示为正则表达式时，它是很有用的
例：
\"[^"]\"  {
           if(yytext[yyleng-2]=='\\')
           {
            yyless(yyleng-1);
            yymore();
           }
           else
            {
            .......
            }
          }
yyless()的另一用处是使用不同的其实状态的规则从新处理标记：
sometoken{BEGIN OTHER_STATE;yyless(0);}
 
yylex()
由lex创建的扫描程序的入口点yylex()。调用yylex()启动或者重新开始扫描。如果lex动作执行讲数值传递给调用的程序return,那么对yylex()的下次调用就从它的停止地方继续。
 
yylex()中的用户代码
规则段中的所有代码都被拷贝到yylex()。以空白开始的行被假定是用户代码。"%%"后的代码直接放置在接近扫描程序的开始处，在第一条执行的语句之前。
 
yymore()
可以从与规则相关的代码中调用yymore()，这条规则告诉lex给这个标记附加下一个标记
 
yytext
每当词法分析程序匹配标记时，标记的文本就存储在以空字符结尾的字符串yytext中
每次匹配一个新的标记时，就要替换yytext的内容，如果yytext的内容还要使用，通过strdup()或者自己申请内存来保存字符串拷贝，从而使字符串的拷贝拷贝位于刚刚分配的内存中。
 
yywrap()
当词法分析程序遇到文件结尾时，它调用例程yywrap()来找出下一步要做什么，如果返回0，扫描程序继续扫描，如果返回1，扫描程序就返回报告文件结尾需标记。
 
lex库中yywrap()的标准版本总是返回1，如果yywrap()返回指示有更多的输入0，那么它首先需要调整指向新的文件yyin,可能使用fopen()。
 
起始状态
在定义段可以声明起始状态，也称起始状态条件或起始规则。起始状态用于限制某些规则的范畴，或者改变词法分析程序处理部分文件的方式。
没有起始状态的那些规则能应用于任何状态。
动作中的BEGIN语句设置了当前的起始状态。


转载自：http://blog.chinaunix.net/uid-13532695-id-90400.html
一生所爱丶
关注
  • 7
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YYText源码解析
u010434271的博客
08-03 4752
源码github地址1. YYTextAttribute 文件 作用 NSAttributeName类，YY在这里将AttributeType分为四种种 typedef NS_OPTIONS(NSInteger, YYTextAttributeType) { YYTextAttributeTypeNone = 0, YYTextAttributeTypeUIKit
C指针原理教程之编译原理-小型计算器实现
08-26
本教程将通过构建一个小型计算器来讲解C指针原理以及编译原理。 首先，我们要理解小型计算器的实现过程。在给定的例子中，小型计算器的开发涉及到词法分析和解析两个阶段。词法分析是将输入的字符流（源代码）转换...
LEX词法分析中常见的YY___的用法
最新发布
m0_75103840的博客
10-26 442
这个函数。
lex学习笔记
李逸波(PMP)
11-23 2134
  yyleng 只要扫描程序匹配标记时，标记的文本就存储在以空字符终止的字符串yytext中，而且它的长度存储在yyleng中，yyleng中的长度与由strlen(yytext)返回的值是相同的。   yyless() 从与规则相关的代码中调用yyless(n)，这条规则推回除标记开头的几个字符以外的所有字符。当决定标记之间边界的规则不方便表示为正则表达式时，它是很有用的 例： /"[^"]/
编译原理学习（一）——Yacc实现简单的计算器并自主实现yylex()函数
NKU_Yang的博客
11-02 3363
Yacc实现简单的计算器并自主实现yylex函数 Yacc是用于构造语法分析器的常用工具，本文中用Yacc实现了一个简单的计算器，并自主实现了yylex()函数，通常这个函数不写的话系统也会自动生成一个，但自己写一遍有助于理解编译器的工作原理，对于新手学习很有帮助。这个计算器在进行输入时，简单表达式以分号结束，它会自动忽略空格和tab。 %{ #include<stdio.h> #include<stdlib.h> #include<ctype.h> #define YY
yylex使用
rayylee
09-01 7796
%{ #include &lt;stdio.h&gt; #include &lt;stdlib.&gt; int num_num = 0; int num_id = 0; %} INTEGER [-+]?[1-9][0-9]* ID [a-zA-Z][a-zA-Z_0-9]* SPACE [ \n\t] %% {INTEGER} { num_num++; pri...
bash源代码分析----yylex函数分析和decode_prompt_string函数负责分析并返回提示字符串
linux-0.11调试教程
03-10 677
yylex函数调用位置：y.tab.c中 if (yychar == YYEMPTY) { YYDPRINTF ((stderr, "Reading a token: ")); yychar = YYLEX; } /* Function for yyparse to call. yylex keeps track of the last two tokens read, and calls read_token. */ static intyylex (...
flex-编译原理-计数器
05-10
在深入探讨`flex`编译原理以及如何模拟计数器之前，我们首先需要理解什么是`flex`。`flex`（以前称为`lex`）是一种词法分析器生成器，用于处理源代码中的文本模式匹配。它接收一个用特定语法描述的输入文件（通常...
c++编译原理词法分析器的程序
05-13
通过深入学习和实践“词法分析.rar”和“LEX.rar”中的示例，你可以更好地理解如何利用C++和Flex来构建词法分析器，这对于理解编译原理，乃至开发自己的编程语言都是非常有价值的。不断探索和实验，你会发现编译器...
编译原理.doc
06-09
【编译原理】实验主要涉及的是使用Yacc（Yet Another Compiler-Compiler）工具来编写语法分析器的脚本。Yacc是一种基于LR分析法的解析器构造工具，它能够自动生成词法分析器，用于处理复杂的语法结构。在这个实验中...
【工具】yylex和ANTLR
xhdxhdxhd的博客
06-25 1488
何时应当创建一个DSL？ 毫无疑问，当你需要解析一些语法结构，比如SQL语句。 yylex https://www.gnu.org/software/bison/manual/html_node/Lexical.html yylex通常是作为bison的一部分输入 bison BISON Standford bison gammmar.y gammar.y会生成garmmar.tab.c, 注意，目录名会被忽略掉。 如果使用c++，则后缀应当是.ypp. 为了兼容性，定义yacc通常唤起bison -y。
编译原理——小白看这一篇很有帮助
青城墨白的
06-20 1587
编译原理的一些理解 目录 前言 一、 编译器翻译流程 二、 词法分析以及Flex工具 三、 TINY源码中看词法分析 四、 语法分析和Bison工具 五、 TINY源码中看语义分析和中间代码（目标代码）生成 六、 TM目标平台和中间代码规范 七、 总结 前言 编译，这个词作何解释？可以说是一个字一个字的翻译，何解？“译”解为翻译之意。如同我们与外国人交流时，要将我们的语言转换翻译成...
LEX入门
lixia_0202的专栏
11-15 1447
First! lex程序的结构是这样的！ 定义 %% 规则 %% 用户代码 一个 Lex 程序分为三个段：第一段是 C 和 Lex 的全局声明，第二段包括模式（C 代码），第三段是补充的 C 函数。 这些段以%%来分界。 下面是一个行数与字数的统计工具。         int num_lines = 0, num_chars = 0; %% \n      ++nu
Yacc 与 Lex 快速入门
红孩儿编程大师
06-21 3485
简介： Lex 和 Yacc 是 UNIX 两个非常重要的、功能强大的工具。事实上， 如果你熟练掌握 Lex 和 Yacc 的话，它们的强大功能使创建 FORTRAN 和 C 的编译器如同儿戏。本文详细的讨论了编写自己的语言和编译器所 用到的这两种工具，包括常规表达式、声明、匹配模式、变量、Yacc 语 法和解析器代码。最后，本文解释了怎样把 Lex 和 Yacc 结合起来。
编译原理-不定期更新
weixin_62645763的博客
09-28 90
在生成的词法分析器源代码（通常是lex.yy.c）中，Flex会自动生成一个名为yylex()的函数，用于执行词法分析的工作。因此，在Bison的驱动程序中，需要包含生成的词法分析器源代码的头文件（#include “lex.yy.c”），以便能够调用yylex()函数来获取词法单元。-d这个参数的含义是，将编译的结果分拆成syntax.tab.c和syntax.tab.h两个文件，其中.h文件里包含着一些词法单元的类型定义之类的内容。：作用是对输入文件进行语法分析，分析成功没有错误返回0，否则返回非0。
yyless与yymore
凡辰道
10-29 2011
这两个函数可以轻松地帮我们将词法分析器改为LALR(n)的词法分析器。 yymore() yymore函数是指，将下次分析的结果词汇，接在当前yytext的后面，而不是替换已有内容。（当前已有内容并不会影响下次分析） 比如如下代码： %x xdquote \" { BEGIN(xdquote); } <xdquote>[^"]+ { yymore(); } <xdquote&...
编译原理-词法分析实践(flex)
Elsa的迷弟
11-19 1109
} 和 %% 之间的为 定义（Definitions）在这里可以定义正则表达式中的一些名字，可以在 规则（Rules） 段被使用，如本文件中定义了 WORD 为 ( [ ^ \t\n\r\a] +) ， 这样在后面可以用 {WORD} 代替这个正则表达式。flex 会将这些代码原样的复制到 lex.yy.c 文件的最后面。return 0;return 1;}
yymore & yyless
Embeded system Development
12-09 3507
1) yymore() 　　当需下一次被匹配的字符串被添加在当前识别出的字符串后面，即不使下一次的输入替换yytext中已有的内容而是接在它的内容之后，必须在当前的动作中调用yymore() 　　例　假设一个语言规定它的字符串括在两个双引号之间，如果某字符串中含有双引号，则在它前面加上反斜线\。用一个正规式来表达该字符串的定义很不容易，不如用下面较简明的正规式与yymore()配合来识别：
LEX&&YACC--编译界的神
aiyo_的博客
09-07 1566
最近研究lex&&yacc,记录并总结一些重要的概念和解释。 lex&&yacc是gnu开源的全文解析工具，lex用于词法解析，yacc用于语法解析。lex一般也称为token scanner/lexer，yacc称为parser generator(语法解析器生成器)。 lex&&yacc这两个工具已经很老了，现代版本的工具为flex&&bison。两个工具可以结合使用，也可以只使用bison。 基本原理 lex词法解析，使用正则表达式进
编译原理实验报告(一)词法分析程序
06-01
实验目的： 1.理解词法分析程序的基本原理和算法。 2.掌握Flex工具的使用方法。 3.掌握正则表达式的使用方法。 实验要求： 1.设计一个简单的词法分析程序，能够识别出以下关键字：if, else, for, while, do, break, continue, return。 2.能够识别出整数、浮点数、标识符、运算符、界符等。 3.能够对输入的代码进行词法分析并输出结果。 实验过程： 1.安装Flex工具。 2.编写词法分析器的规则。 3.编写测试程序。 4.使用Flex工具生成词法分析器。 5.编译并运行测试程序。 实验步骤： 1.安装Flex工具。 在Ubuntu系统中，可以使用以下命令安装Flex工具： ``` sudo apt-get install flex ``` 2.编写词法分析器的规则。 在本实验中，我们需要识别出以下关键字： if, else, for, while, do, break, continue, return 可以使用以下正则表达式进行匹配： ``` "if" {return IF;} "else" {return ELSE;} "for" {return FOR;} "while" {return WHILE;} "do" {return DO;} "break" {return BREAK;} "continue" {return CONTINUE;} "return" {return RETURN;} ``` 我们还需要识别出整数和浮点数。可以使用以下正则表达式进行匹配： ``` [0-9]+ {yylval.num = atoi(yytext); return INT;} [0-9]+"."[0-9]+ {yylval.fnum = atof(yytext); return FLOAT;} ``` 其中，yylval是Flex工具自带的一个全局变量，用于存储识别出的标识符、整数或浮点数的值。 我们还需要识别出运算符和界符。可以使用以下正则表达式进行匹配： ``` "+" {return ADD;} "-" {return SUB;} "*" {return MUL;} "/" {return DIV;} "%" {return MOD;} "=" {return ASSIGN;} ">" {return GT;} ">=" {return GE;} "<" {return LT;} "<=" {return LE;} "!=" {return NE;} "==" {return EQ;} ";" {return SEMICOLON;} "," {return COMMA;} "(" {return LPAREN;} ")" {return RPAREN;} "{" {return LBRACE;} "}" {return RBRACE;} ``` 最后，我们需要识别出标识符。可以使用以下正则表达式进行匹配： ``` [a-zA-Z][a-zA-Z0-9]* {yylval.id = strdup(yytext); return IDENTIFIER;} ``` 3.编写测试程序。 在本实验中，我们编写一个简单的测试程序，用于测试词法分析器是否正确。 ```c %{ #include "lex.yy.h" %} %option noyywrap %{ int yylex(); void yyerror(char *); %} %union { int num; float fnum; char *id; } %token IF ELSE FOR WHILE DO BREAK CONTINUE RETURN %token INT FLOAT %token ADD SUB MUL DIV MOD %token ASSIGN GT GE LT LE NE EQ %token SEMICOLON COMMA %token LPAREN RPAREN LBRACE RBRACE %token IDENTIFIER %% {if} {printf("IF\n");} {else} {printf("ELSE\n");} {for} {printf("FOR\n");} {while} {printf("WHILE\n");} {do} {printf("DO\n");} {break} {printf("BREAK\n");} {continue} {printf("CONTINUE\n");} {return} {printf("RETURN\n");} [0-9]+ {yylval.num = atoi(yytext); printf("INT %d\n", yylval.num);} [0-9]+"."[0-9]+ {yylval.fnum = atof(yytext); printf("FLOAT %f\n", yylval.fnum);} "+" {printf("ADD\n");} "-" {printf("SUB\n");} "*" {printf("MUL\n");} "/" {printf("DIV\n");} "%" {printf("MOD\n");} "=" {printf("ASSIGN\n");} ">" {printf("GT\n");} ">=" {printf("GE\n");} "<" {printf("LT\n");} "<=" {printf("LE\n");} "!=" {printf("NE\n");} "==" {printf("EQ\n");} ";" {printf("SEMICOLON\n");} "," {printf("COMMA\n");} "(" {printf("LPAREN\n");} ")" {printf("RPAREN\n");} "{" {printf("LBRACE\n");} "}" {printf("RBRACE\n");} [a-zA-Z][a-zA-Z0-9]* {yylval.id = strdup(yytext); printf("IDENTIFIER %s\n", yylval.id);} [ \t\n]+ { /* skip whitespace */ } %% int main(int argc, char *argv[]) { FILE *yyin = fopen(argv[1], "r"); if (!yyin) { printf("Cannot open input file!\n"); return -1; } yylex(); fclose(yyin); return 0; } void yyerror(char *s) { printf("%s\n", s); } ``` 4.使用Flex工具生成词法分析器。 可以使用以下命令生成词法分析器： ``` flex lexer.l ``` 该命令将生成一个名为lex.yy.c的文件，即词法分析器。 5.编译并运行测试程序。 可以使用以下命令编译测试程序： ``` gcc -o lexer lex.yy.c -lfl ``` 该命令将生成一个名为lexer的可执行文件。 可以使用以下命令运行测试程序： ``` ./lexer test.c ``` 其中，test.c是一个待分析的C程序。 实验结果： 假设我们有一个名为test.c的C程序，内容如下： ```c #include <stdio.h> int main() { int a = 10; float b = 3.14; if (a > 5) { printf("a is greater than 5\n"); } else { printf("a is less than or equal to 5\n"); } return 0; } ``` 使用词法分析器对该程序进行分析，输出如下： ``` #include <stdio.h> IDENTIFIER printf LPAREN STRING "a is greater than 5\n" RPAREN SEMICOLON INT IDENTIFIER main LPAREN RPAREN LBRACE INT IDENTIFIER a ASSIGN INT 10 SEMICOLON FLOAT IDENTIFIER b ASSIGN FLOAT 3.140000 SEMICOLON IF LPAREN IDENTIFIER a GT INT 5 RPAREN LBRACE IDENTIFIER printf LPAREN STRING "a is greater than 5\n" RPAREN SEMICOLON RBRACE ELSE LBRACE IDENTIFIER printf LPAREN STRING "a is less than or equal to 5\n" RPAREN SEMICOLON RBRACE RETURN INT 0 SEMICOLON RBRACE ``` 可以看到，词法分析器成功地识别出了关键字、标识符、整数、浮点数、运算符和界符等，并正确地输出了结果。 实验总结： 本实验中，我们学习了词法分析程序的基本原理和算法，并使用Flex工具和正则表达式编写了一个简单的词法分析器。词法分析器能够识别出关键字、标识符、整数、浮点数、运算符和界符等，并对输入的代码进行了正确的分析。通过本实验的学习，我们深入理解了编译原理中的词法分析过程，提高了对编译原理的理解和应用能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值