lex词法分析过程 编译原理 词法分析

已于 2023-07-26 17:06:05 修改
阅读量426 收藏 4
点赞数
文章标签： 笔记 经验分享
于 2023-07-26 10:39:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianchao0127/article/details/131932726
版权

生成*.yy.c

在学习到编译原理的词法分析器阶段，为了学习使用lex做分析，在网上找了一些资料学习。
lex代码来源：https://blog.csdn.net/wang_yr/article/details/106004464，

 AUXILIARY DEFINITION
 letter->A|B|…|Z
 digit->0|1|…|9
 RECOGNITION RULES
 1    DIM                     {RETURN(1,-)}
 2    IF                      {RETURN(2,-)}
 3    DO                      {RETURN(3,-)}
 4    STOP                    {RETURN(4,-)}
 5    END                     {RETURN(5,-)}
 6    letter(letter|digit)*   {RETURN(6,TOKEN)}
 7    digit(digit)*           {RETURN(7,DTB)}
 8    =                       {RETURN(8,-)}
 9    +                       {RETURN(9,-)}
 10   *                       {RETURN(10,-)}
 11   **                      {RETURN(11,-)}
 12   ,                       {RETURN(12,-)}
 13   (                       {RETURN(13,-)}
 14   )                       {RETURN(14,-)}

使用win_flex.exe编译，win_flex.exe --wincompat --outfile=yy.c输出位置 .l文件位置，如下

win_flex.exe --wincompat --outfile=D:\lxc\nbu\software\win_flex_bison-latest\my_code_test/a.yy.c D:\lxc\nbu\software\win_flex_bison-latest\my_code_test\a.l

在这里插入图片描述
在这里插入图片描述
但是在使用lex编译时出现了下面的的一些错误：如bad character和error processing section 1、aa.l:19: premature EOF等等。
经过一顿百度之后，在百度词条里面看到了下面这么一段，所以我在想是不是把AUXILIARY DEFINITION、RECOGNITION RULES换成双百分号%%就好了呢，

在这里插入图片描述
新代码如下

 %%
 letter->A|B|...|Z
 digit ->0|1|...|9
 %%
 1 	DIM                     { RETURN (1,-) }
 2 	IF                      { RETURN (2,-) }
 3 	DO                      { RETURN (3,-) }
 4 	STOP                    { RETURN (4,-) }
 5   END                     { RETURN (5,-) }
 6   letter(letter|digit)*   { RETURN (6,TOKEN) }
 7   digit(digit)*           { RETURN (7,DTB) }
 8   =                       { RETURN (8,-) }
 9   +                       { RETURN (9,-) }
 10  *                       { RETURN (10,-) }
 11  **                      { RETURN (11,-) }
 12  ,                       { RETURN (12,-) }
 13  (                       { RETURN (13,-) }
 14  )                       { RETURN (14,-) }

再次编译：D:\lxc\nbu\software\win_flex_bison-latest>win_flex.exe --wincompat --outfile=D:\lxc\nbu\software\win_flex_bison-latest\my_code_test/a.yy.c D:\lxc\nbu\software\win_flex_bison-latest\my_code_test\a.l
在这里插入图片描述

在这里插入图片描述
*.yy.c文件生成之后就是使用MinGW编译c文件成exe了。安装MinGW：https://blog.csdn.net/jiqiren_dasheng/article/details/103775488。

用*.yy.c编译成*.exe

注意，下面的pl.l文件内容和上面的不一样了，
下面来测试使用lex生成PL语言的词法分析器，aa.l文件代码来源：https://blog.csdn.net/JYLCG/article/details/106126107，

/* PL词法分析器 */
/* 功能：能够识别出PL支持的所有单词符号并给出种别值 */
/* 说明：在下面的begin和end之间添加代码，已经实现了标识符和整常量的识别，你需要完成剩下的部分，加油吧！ */
/* 提示：因为是顺序匹配，即从上至下依次匹配规则，所以需要合理安排顺序～ */
%{
#include <stdio.h>
%}
/* begin */
OFSYM            of
ARRAYSYM         array
PROGRAMSYM       program
MODSYM           mod
ANDSYM           and
NOTSYM           not
ORSYM            or
BEGINSYM         begin
ENDSYM           end
IFSYM            if
THENSYM          then
ELSESYM          else
WHILESYM         while
DOSYM            do
CALLSYM          call
CONSTSYM         const
VARSYM           var
TYPESYM          type
PROCSYM          procedure
CHARCON			\'[^\']*\'
INTCON			[\-]?[1-9][0-9]*|0
IDENT			[A-Za-z][A-Za-z0-9]*
PLUS			\+
MINUS			\-
TIMES			\*
DIVSYM             \/
EQL              =
NEQ              <>
LSS              <
LEQ              <=
GTR              >
GEQ              >=
LBRACK           \[
RBRACK           \]
LPAREN           \(
RPAREN           \)
COMMA            ,
SEMICOLON       ;
COLON           :
PERIOD          \.
BECOME         :=
ERROR       [^ \t\n]
/* end */

%%


{CHARCON}		{printf("%s: CHARCON\n", yytext);}
{PLUS}			{printf("%s: PLUS\n", yytext);}
{MINUS}			{printf("%s: MINUS\n", yytext);}
{TIMES}			{printf("%s: TIMES\n", yytext);}
{DIVSYM}		{printf("%s: DIVSYM\n", yytext);}
{EQL}			{printf("%s: EQL\n", yytext);}
{NEQ}			{printf("%s: NEQ\n", yytext);}
{LSS}			{printf("%s: LSS\n", yytext);}
{LEQ}			{printf("%s: LEQ\n", yytext);}
{GTR}			{printf("%s: GTR\n", yytext);}
{GEQ}			{printf("%s: GEQ\n", yytext);}
{LBRACK}		{printf("%s: LBRACK\n", yytext);}
{RBRACK}		{printf("%s: RBRACK\n", yytext);}
{LPAREN}		{printf("%s: LPAREN\n", yytext);}
{RPAREN}		{printf("%s: RPAREN\n", yytext);}
{COMMA}			{printf("%s: COMMA\n", yytext);}
{SEMICOLON}		{printf("%s: SEMICOLON\n", yytext);}
{COLON}			{printf("%s: COLON\n", yytext);}
{PERIOD}		{printf("%s: PERIOD\n", yytext);}
{BECOME}		{printf("%s: BECOME\n", yytext);}
{OFSYM}			{printf("%s: OFSYM\n", yytext);}
{ARRAYSYM}		{printf("%s: ARRAYSYM\n", yytext);}
{PROGRAMSYM}	{printf("%s: PROGRAMSYM\n", yytext);}
{MODSYM}		{printf("%s: MODSYM\n", yytext);}
{ANDSYM}		{printf("%s: ANDSYM\n", yytext);}
{NOTSYM}		{printf("%s: NOTSYM\n", yytext);}
{ORSYM}			{printf("%s: ORSYM\n", yytext);}
{BEGINSYM}		{printf("%s: BEGINSYM\n", yytext);}
{ENDSYM}		{printf("%s: ENDSYM\n", yytext);}
{IFSYM}			{printf("%s: IFSYM\n", yytext);}
{THENSYM}		{printf("%s: THENSYM\n", yytext);}
{ELSESYM}		{printf("%s: ELSESYM\n", yytext);}
{WHILESYM}		{printf("%s: WHILESYM\n", yytext);}
{DOSYM}			{printf("%s: DOSYM\n", yytext);}
{CALLSYM}		{printf("%s: CALLSYM\n", yytext);}
{CONSTSYM}		{printf("%s: CONSTSYM\n", yytext);}
{VARSYM}		{printf("%s: VARSYM\n", yytext);}
{TYPESYM}		{printf("%s: TYPESYM\n", yytext);}
{PROCSYM}		{printf("%s: PROCSYM\n", yytext);}
{INTCON}		{printf("%s: INTCON\n", yytext);}
{IDENT}			{printf("%s: IDENT\n", yytext);}
{ERROR}			{printf("%s: ERROR\n", yytext);}
\n				{}
.				{}
%%
int yywrap() { return 1; }
int main(int argc, char **argv)
{
    if (argc > 1) {
        if (!(yyin = fopen(argv[1], "r"))) {
            perror(argv[1]);
            return 1;
        }
    }
    while (yylex());
    return 0;
}

先使用win_flex.exe编译pl.l，win_flex.exe --wincompat --outfile=D:\lxc\nbu\software\win_flex_bison-latest\my_code_test/pl.yy.c D:\lxc\nbu\software\win_flex_bison-latest\my_code_test\pl.l
在这里插入图片描述

使用gcc编译pl.yy.c时出现如下，gcc pl.yy.c -o pl

在这里插入图片描述
在这里插入图片描述

双击运行，pl.exe，简单的测试一下词法分析器的能力
在这里插入图片描述

下面测试一个PL语言的Hello world文件的词法分析，PL语言的HelloWorld如下

program HelloWorld;

procedure PrintHello;
begin
  print("Hello, World!");
end;

begin
  PrintHello;
end.

命令行启动pl.exe，并传入文件D:\lxc\nbu\software\win_flex_bison-latest\my_code_test>pl.exe pl.pl
在这里插入图片描述

整个实验过程完整资源下载：https://download.csdn.net/download/xianchao0127/88103102

本文参考：lex原理：https://www.bwangel.me/2019/12/15/flex/、安装lex：https://zhuanlan.zhihu.com/p/551669070、使用：https://blog.csdn.net/wang_yr/article/details/106004464、b站学习课程：https://www.bilibili.com/video/BV11t411V74n

@__Chao - L
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
编译原理 词法分析器 lex词法分析器 pl语言词法分析器
07-26
编译原理 词法分析器 lex词法分析器
编译原理 词法分析器 lex词法分析器
07-26
编译原理 词法分析器 lex词法分析器
2.5 词法分析器的生成器
最新发布
tang7mj的博客
02-06 1192
Lex，有时也被称为Lex编译器，是一个自动化工具，设计用来生成词法分析器。通过接受基于正则表达式的规则描述，Lex可以自动地生成C语言代码，从而实现了一个完整的词法分析器。这种自动化不仅加快了开发过程，而且还减少了人为错误。
编译原理——使用Lex实现词法分析
Beyond_Python的博客
01-17 551
编写LEX程序，识别出这个语言组成的串中所有符号（integer, identify, operator, reserved, symbol），并在屏幕上输出相关内容和错误信息（如果有错误），注释的内容不显示。使用Flex工具，对给定编程语言进行词法分析。计算机 安装了C语言开发环境、Flex工具。理解编译器词法分析的过程。掌握LEX工具的使用。
《编译与反编译技术实战》——3.3节词法分析器的LEX实现
weixin_34194551的博客
05-02 291
本节书摘来自华章社区《编译与反编译技术实战》一书中的第3章，第3.3节词法分析器的LEX实现，作者刘晓楠　陶红伟　岳峰　戴超，更多章节内容可以访问云栖社区“华章社区”公众号查看 3.3　词法分析器的LEX实现由于程序设计语言中的单词基本上都可用一组正规式来描述，因此，人们希望构造一个自动生成系统：对于一个给定的高级语言，只要给出用来描述其各类单词词法结构...
编译原理-词法分析器自动生成工具Lex
云上道人的博客
03-28 1万+
1.词法分析自动生成器概述 词法分析自动生成器基于正则表达式和有穷自动机理论。正则表达式是一个用数学表达式来描述一个单词集合的构成模式，而有穷自动机从识别的观点来看一个集合中的符号串是否被有穷自动机所识别。 2. Lex 2.1 Lex概述 Lex是一个基于正则表达式的描述来构造词法分析器的工具。它的输入是用Lex语言编写的源程序。在Lex中，...
一个简单的lex词法分析器
01-17
一个简单的词法分析器例子，运用lex编程实现将一段C语言程序转换为词法单元识别。
lex实现的简单词法分析
rain_stark的博客
11-12 4345
lex是一个高效简单的实现词法分析器的工具，本文的工作只是实现了一个c语言的简易词法分析，识别出单词并打印。后续文章将会有稍微复杂的lex程序，实现了符号表等功能。 先上代码：%{ #include <stdio.h> %}WS [ \t\n]* NUMBER [0123456789]+ ID [a-zA-Z][a-zA-Z0-9]* LABRACE [{}] EQUAL [=][=]
LEX/FLEX词法分析器
热门推荐
mist14的博客
09-22 2万+
LEX/FLEX词法分析器CONTENTS：LEXFLEX词法分析器 LexFlex词法分析器 Flex的安装和使用 Lex语法格式 definitions rules user subroutines FLEX实例这篇文章的内容包括： lex语法格式 linux下flex的安装和使用 flex实例 flex源代码的编译和使用 Lex/Flex词法分析器 Lex是LEXical compiler
基于LEX的C语言词法分析器
06-23
自动构造C-语言的的词法分析器，要求能够掌握编译原理的基本理论,，理解编译程序的基本结构，掌握编译各阶段的基本理论和技术，掌握编译程序设计的基本理论和步骤.，增强编写和调试高级语言源程序的能力，掌握词法分析的基本概念和实现方法，熟悉C-语言的各种Token。
词法分析器Lex(编译原理)
11-22
词法分析器,希望对大家有所帮助，。。。。
Lex_一个词法分析器的生成器(全文)
12-05
Lex是一个程序生成器，它被设计用来对输入字符流进行词法处理。它接受一种高级的、面向问题的说明书，并用它匹配字符串中的字符、生成能够识别正则表达式的程序。正则表达式通过用户输入的代码说明书给入。Lex识别这些表达式，并且将输入流分成一些匹配这些表达式的字符串。在这些字符串的分界处，用户提供的程序片段被执行。Lex代码文件将正则表达式和程序片断关联。对每一条输入到由Lex生成程序的表达式，相应的代码片段被执行。
LEX工具实现C语言的词法分析器
03-25
LEX工具实现C语言的词法分析器，c++版本文档+程序代码
利用LEX自动生成词法分析程序
06-15
实验二 词法分析器 一、实验目的 掌握词法分析器的构造原理，掌握手工编程或LEX编程方法之一。 二、实验内容 编写一个LEX源程序，使之生成一个词法分析器，能够输入的源程序转换为单词序列输出。 三、实验环境 Flex+VC6.0 四、实验注意 1.Id正则表达式：{letter}({letter}|{digit})* 2.Num正则表达式：{digit}+(\.{digit}+)?(E[+-]?{digit}+)? 3.注释：(\/\*(.)*\*\/) 4.关键字再加上其他字符就又能编程id，所以在词法分析时，id的判断应该放在关键字前面，这样才不会误判 5.由于本程序知识简单的打印数字，因此没有考虑数字的转换 6.">="比">"多一个字符，它应该放在前面判断，其他类似的也应该如此安排 五、实验代码 ******************************************************************************* 实验文件：lex.l、lex.yy.c 实验结果：lex.exe 运行方式：打开lex.exe,弹出input.txt,在其中输入所要测试的程序，保存并关闭,即可在output.txt中看到所得结果 ******************************************************************************* %{ void Install(char *type); %} %option noyywrap delim [ \t] newline [\n] digit [0-9] num {digit}+(\.{digit}+)?(E[+-]?{digit}+)? letter [A-Za-z] id {letter}({letter}|{digit})* key ("if"|"while"|"do"|"break"|"true") basic ("int"|"float"|"bool"|"char") op (">="|""|"<"|"="|"!="|"+"|"-"|"*"|"/") comment (\/\*(.)*\*\/) %% delim {;} newline {printf("\n");} {num} {Install("Num");} {key} {Install("Key");} {basic} {Install("Basic");} {op} {Install("Op");} ";" {Install("Comma");} {id} {Install("ID");} {comment} {Install("Comment");} "(" | "[" | "{" {Install("lbracket");} ")" | "]" | "}" {Install("rbracket");} %% void Install(char *s) { fprintf(yyout, "%s:%s ", s, yytext); } int main() { printf("please input the test program in input.txt\n"); system("input.txt"); yyin = fopen("input.txt", "r"); yyout = fopen("output.txt", "w" ); yylex(); fclose(yyout); fclose(yyin); printf("analysis result in output.txt\n"); system("output.txt"); return 0; } 六、实验小结 本次的实验由于使用了flex，所以代码较短，麻烦的事flex的正则式表达，由于该使用规则只有简单介绍，而网上找的教程难免有比重就轻之嫌，所以得到上述表达式着实费力，且有的没有成功，例如bracket的(\ ((.)*\ ))或者("("(.)*")")使用时都没有成功，所以便单独写出，有点不伦不类。至于其他的，都较为简单，完。
C--语言的词法分析器(用Lex实现)
03-01
编译原理实验： 1.将一个C--语言程序分割成token串的序列。处理C--语言的所有token类型。 2.程序做成命令行程序，带两个参数，分别表示输入和输出文件名。
实验一-词法分析（通过Lex实现，实现代码容易看懂）
06-23
自定义语言C--的词法系统 1)类型系统：支持int、char、void基本类型，分别用词法记号表示为关键字int、char和void。 2)常量：字符常量(用单引号括起来)、字符串常量（用双引号括起来）、八/十/六进制整数常量（0开头表示八进制，0x开头表示十六进制）。分别用词法记号表示为ch、str和num。 3)变量：与常量对应，使用标识符表示，词法记号表示为id。 4)表达式运算符：支持加减乘除、求余、取负、自增、自减算术运算，大于、大于等于、小于、小于等于、等于、不等于关系运算，与、或、非逻辑运算，表示为词法记号：‘+’，‘-’，‘*’，‘/’，‘%’，‘-’，‘++’，‘--’，‘>’，‘>=’，‘<’，‘<=’，‘==’，‘！=’，‘&&’， ‘||’，‘！’。注意：取负运算和减法运算在词法分析器里是被看做是同一个词法记号。 5)语句：支持赋值语句、do-while、while、for循环语句，if-else、switch-case条件分之语句、函数调用、函数返回、跳转等语句。涉及的词法记号表示为赋值号‘=’，关键字do, while, for, if, else, switch, case, default, return ,break, continue。语句和函数体要求用大括号括起来，case和default后面需要跟冒号，因此需要包括各种分界符作为词法记号：‘{’，‘}’，‘;’，‘:’，‘(’，‘)’，‘,’。
lex_实验-编译原理词法分析器实现
05-02
这是一个编译原理lex工具，具备词法分析器的功能，方便了解编译原理词法分析器的功能
基于Python实现Lex词法分析器(编译原理大作业) 【100012187】
05-15
主要分为四个部分，第一部分会演示一下Lex的用法并表达一下膜拜之情；之后是自己pyLex的用法；第三部分会详细解释从re到dfa的转换过程；最后是讲解如何读取配置文件，如何生成代码，如何匹配等问题。
LEX自动生成词法分析器
果壳中的宇宙
11-08 1万+
词法分析器作为编译器的一个重要组成部分，原理很简单，代码也都没什么技术含量，但是如果让你手工写一个词法分析器，哪怕是一个简单的词法分析器，工作量无疑是巨大的。现代的词法分析器一般都是依靠工具自动生成，这里我们选用flex生成词法分析器，下面是用到的flex的下载地址。windows的环境的话，lex.exe文件使我们所需要的工具。里面的帮助文档将教会你如何使用flex。学习编译原理并非一定要做一个完
编译原理 lex 词法分析器
11-07
编译原理中的词法分析器是一个重要的组成部分，其作用是将源代码转化为一系列的词法单元（tokens）。其中，词法单元是指编程语言中的最小的、有意义的、不可再分的单词，如关键字、标识符、运算符、常量等。 lex是一种常用的词法分析器生成器，它的工作原理是基于正则表达式匹配规则。使用lex的时候，我们需要使用一种被称为lex源文件的文件，其中包含词法规则描述和对应的动作。 在编写lex源文件时，我们需要定义一系列的正则表达式规则，用于匹配不同类型的词法单元。每个规则通常由两部分组成：模式（pattern）和动作（action）。模式用于描述词法单元的形式，而动作则指定了在匹配到该模式时的处理方式。 lex根据这些规则生成一个有限状态自动机，并用于从输入的源代码中识别和提取出对应的词法单元。生成的词法分析器可以作为编译过程的第一步，将源代码分解为一系列的词法单元，供后续的语法分析器使用。 使用lex可以极大地简化词法分析器的编写工作，同时提高了分析效率。通过定义灵活的正则表达式规则，我们可以轻松地适应不同编程语言的需求。 总结起来，词法分析器在编译原理中起着至关重要的作用。lex作为一种词法分析器生成器，可以帮助我们快速构建词法分析器，从源代码中提取出有意义的词法单元，为后续的编译过程打下基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值