关于《利用Lex进行词法分析》

已于 2023-02-04 11:07:28 修改
阅读量413 收藏 2
点赞数
文章标签： 编辑器
于 2023-02-03 11:42:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YingShen_xyz/article/details/128863585
版权
文章介绍了如何利用Lex工具进行词法分析，包括安装Flex，配置环境变量，编辑.l文件，用Flex生成.c文件，然后用GCC编译并执行。作者提醒注意GCC版本，Lex对头文件的处理以及.y.h文件的使用。提供了一个GitHub资源链接供读者参考学习。
摘要由CSDN通过智能技术生成

利用Lex进行词法分析

写在前面

目前开展编译原理这门课程，许多同学说实话学不到什么东西，知识一昧地做题，我个人是不建议的。当我看到课本上有一页是来介绍利用Lex和Yacc做词法分析和语法分析的时候，我觉得可以试一试，没想到Lex使用起来还有些难度，大概花费了我一周的时间才大部分可以看懂。下面将介绍利用Lex(Flex)进行词法分析的流程。

学习流程

  1. 首先需要安装Lex

    推荐安装的博客：手把手教程-lex与yacc/flex与bison入门（一）（使用windows环境）D-Cierra, 个人觉得这篇文章中的环境配置部分写的不错，值得学习。明确以下几点。
    1. flex是lex的替代品，也大致可以说就是一样的东西。
    2. 配置环境变量的目的就是方便在任何的命令框中调用flex和bison，如果对于windows命令不是很熟悉的同学推荐将其放在环境变量中。
    3. 这里最好安装的没有中文路径的目录下，默认的目录是有些问题的。比如program file (x86)这个目录我的计算机上是识别不了的，推荐直接安装的C盘根目录下。
    4. 最后的测试可以不使用管理员身份打开，我测试的时候是没有问题的。

  2. 认识Lex

    这里推荐的博客：Lex使用指南 火雨_Nick,写的比较好，但是时间较长了，这都2023年了 😄 但是其大体内容是完全没有问题的。

  3. 使用Lex(flex)

    1. 编辑词法分析的程序(.l / .L)程序，这里我在某个官网上找到了一个可以使用的，并且比较全面，这里不做过多的介绍，感兴趣的可以使用任何博客中的程序，但是目前看来都不是很全面。
    2. 利用Flex编译成xxx.yy.c文件。flex lex.l
    3. 利用gcc编译xxx.yy.c文件，默认生成a.exe(windows上)。
    4. 执行a.exe。

  4. 下面看我的演示过程

关于《利用Lex进行词法分析》

  1. 其他需要注意的地方

    1. 这里的gcc的version可以用gcc --version 来查看，视频里面没有。
    2. lex好像无法识别头文件，这是lex.l文件如此，但是我尊重原创没有改lex.l文件，所以大家这里需要注意，如果想要识别头文件的话，可以自行修改。
    3. y.tab.h 是我利用bison生成的，这里是和lex.l中的文件是对应的，如果大家不想使用这个文件的话，那么在lex.l中所有return的东西都需要在lex.l的前面定义，比如#define xxx 111这种。

  2. 如果非常不熟悉的人，可以直接看源码

lex免费测试用：https://github.com/zhanzhanblue/lex-using
源码：https://mbd.pub/o/bread/Y56amZ9t

蓝展展
关注
lex实现的简单词法分析
rain_stark的博客
11-12 4440
lex是一个高效简单的实现词法分析器的工具，本文的工作只是实现了一个c语言的简易词法分析，识别出单词并打印。后续文章将会有稍微复杂的lex程序，实现了符号表等功能。 先上代码：%{ #include <stdio.h> %}WS [ \t\n]* NUMBER [0123456789]+ ID [a-zA-Z][a-zA-Z0-9]* LABRACE [{}] EQUAL [=][=]
Lex词法分析器
t617的博客
11-14 8351
Lex词法分析器一.设计内容 熟悉并实现一个简单的词法分析器 二.设计目的 了解高级语言单词的分类，了解如何识别单词规则，掌握状态图到识别程序的编程。 源程序中，存在许多编辑用的符号，他们对程序逻辑功能无任何影响。例如：回车，换行，多余空白符，注释行等。在词法分析之前，首先要先剔除掉这些符号，使得词法分析更为简单。 三.实验步骤Lex输入文件由3个部分组成： 定义集（defini
《编译与反编译技术实战》——3.3节词法分析器的LEX实现
weixin_34194551的博客
05-02 325
本节书摘来自华章社区《编译与反编译技术实战》一书中的第3章，第3.3节词法分析器的LEX实现，作者刘晓楠　陶红伟　岳峰　戴超，更多章节内容可以访问云栖社区“华章社区”公众号查看 3.3　词法分析器的LEX实现由于程序设计语言中的单词基本上都可用一组正规式来描述，因此，人们希望构造一个自动生成系统：对于一个给定的高级语言，只要给出用来描述其各类单词词法结构...
利用LEX自动生成词法分析程序
06-15
实验二 词法分析器 一、实验目的 掌握词法分析器的构造原理，掌握手工编程或LEX编程方法之一。 二、实验内容 编写一个LEX源程序，使之生成一个词法分析器，能够输入的源程序转换为单词序列输出。 三、实验环境 Flex+VC6.0 四、实验注意 1.Id正则表达式：{letter}({letter}|{digit})* 2.Num正则表达式：{digit}+(\.{digit}+)?(E[+-]?{digit}+)? 3.注释：(\/\*(.)*\*\/) 4.关键字再加上其他字符就又能编程id，所以在词法分析时，id的判断应该放在关键字前面，这样才不会误判 5.由于本程序知识简单的打印数字，因此没有考虑数字的转换 6.">="比">"多一个字符，它应该放在前面判断，其他类似的也应该如此安排 五、实验代码 ******************************************************************************* 实验文件：lex.l、lex.yy.c 实验结果：lex.exe 运行方式：打开lex.exe,弹出input.txt,在其中输入所要测试的程序，保存并关闭,即可在output.txt中看到所得结果 ******************************************************************************* %{ void Install(char *type); %} %option noyywrap delim [ \t] newline [\n] digit [0-9] num {digit}+(\.{digit}+)?(E[+-]?{digit}+)? letter [A-Za-z] id {letter}({letter}|{digit})* key ("if"|"while"|"do"|"break"|"true") basic ("int"|"float"|"bool"|"char") op (">="|""|"<"|"="|"!="|"+"|"-"|"*"|"/") comment (\/\*(.)*\*\/) %% delim {;} newline {printf("\n");} {num} {Install("Num");} {key} {Install("Key");} {basic} {Install("Basic");} {op} {Install("Op");} ";" {Install("Comma");} {id} {Install("ID");} {comment} {Install("Comment");} "(" | "[" | "{" {Install("lbracket");} ")" | "]" | "}" {Install("rbracket");} %% void Install(char *s) { fprintf(yyout, "%s:%s ", s, yytext); } int main() { printf("please input the test program in input.txt\n"); system("input.txt"); yyin = fopen("input.txt", "r"); yyout = fopen("output.txt", "w" ); yylex(); fclose(yyout); fclose(yyin); printf("analysis result in output.txt\n"); system("output.txt"); return 0; } 六、实验小结 本次的实验由于使用了flex，所以代码较短，麻烦的事flex的正则式表达，由于该使用规则只有简单介绍，而网上找的教程难免有比重就轻之嫌，所以得到上述表达式着实费力，且有的没有成功，例如bracket的(\ ((.)*\ ))或者("("(.)*")")使用时都没有成功，所以便单独写出，有点不伦不类。至于其他的，都较为简单，完。
基于LEX的词法分析实验
毕业作品网站
09-14 1485
熟悉 Lex 基本语法，掌握 ParserGenerator 软件的使用通过设计 开发通用高级语言一个单词种类的词法分析程序，加深对课堂教学内容（包括正规文法、正规表达式、有限自动机、NFA到DFA的转换、DFA的最小化）的理解，提高词法分析方法的实践能力。
词法分析器（lex和c语言）.zip
06-24
基于《编译原理教程（第四版）》胡元义 第二章 词法分析 伪代码实现的词法分析器。实现方式：c语言和lex 内容包括： （1）源代码； （2）测试文件； （3）测试结果。 注意：c语言实现时，尽量贴合书本伪代码去写的。
基于LEX的语言词法分析器.zip
10-14
在这个名为“基于LEX的语言词法分析器”的项目中，我们主要探讨如何利用LEX工具进行词法分析器的构建。项目包含了三个核心部分： 1. **LEX环境配置**：在进行词法分析器开发之前，首先需要搭建适合的开发环境。这...
基于Python实现Lex词法分析器(编译原理大作业) 【100012187】
05-15
Lex是一种用于生成词法分析器的工具，它能够将正则表达式转换为有限状态自动机（DFA），进而对输入文本进行分词。下面将详细阐述这个项目的各个部分： 首先，项目的第一部分是关于传统Lex工具的介绍。Lex是一种经典...
基于lex和yacc的词法分析器+语法分析器(C语言编译器)【100012624】
06-05
本项目专注于词法分析和语法分析这两个编译器设计的重要阶段，利用 lex 和 yacc 工具来实现。以下是关于这两个工具及其在C语言编译器构建中的应用的详细解释。 首先，我们关注的是“词法分析器”，它在编译过程的...
一个简单的lex词法分析器
01-17
一个简单的词法分析器例子，运用lex编程实现将一段C语言程序转换为词法单元识别。
实验一-词法分析（通过Lex实现，实现代码容易看懂）
06-23
自定义语言C--的词法系统 1)类型系统：支持int、char、void基本类型，分别用词法记号表示为关键字int、char和void。 2)常量：字符常量(用单引号括起来)、字符串常量（用双引号括起来）、八/十/六进制整数常量（0开头表示八进制，0x开头表示十六进制）。分别用词法记号表示为ch、str和num。 3)变量：与常量对应，使用标识符表示，词法记号表示为id。 4)表达式运算符：支持加减乘除、求余、取负、自增、自减算术运算，大于、大于等于、小于、小于等于、等于、不等于关系运算，与、或、非逻辑运算，表示为词法记号：‘+’，‘-’，‘*’，‘/’，‘%’，‘-’，‘++’，‘--’，‘>’，‘>=’，‘<’，‘<=’，‘==’，‘！=’，‘&&’， ‘||’，‘！’。注意：取负运算和减法运算在词法分析器里是被看做是同一个词法记号。 5)语句：支持赋值语句、do-while、while、for循环语句，if-else、switch-case条件分之语句、函数调用、函数返回、跳转等语句。涉及的词法记号表示为赋值号‘=’，关键字do, while, for, if, else, switch, case, default, return ,break, continue。语句和函数体要求用大括号括起来，case和default后面需要跟冒号，因此需要包括各种分界符作为词法记号：‘{’，‘}’，‘;’，‘:’，‘(’，‘)’，‘,’。
【编译原理】 实验一:词法分析器的自动实现(Lex词法分析)
zombotany的博客
07-07 2万+
1.借助词法分析工具Flex或Lex完成（参考网络资源） 2.输入：高级语言源代码（如helloworld.c） 3.输出：以二元组表示的单词符号序列。通过设计、编制、调试一个具体的词法分析程序，加深对词法分析原理的理解，并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。由于各种不同的高级程序语言中单词总体结构大致相同，基本上都可用一组正则表达式描述，所以构造这样的自动生成系统：只要给出某高级语言各类单词词法结构的一组正则表达式以及识别各类单词时词法分析程序应采取的语义动作，该系统
lex词法分析过程 编译原理 词法分析
xianchao0127的博客
07-26 553
lex词法分析 编译原理
基于Lex的词法分析器的设计与实现序
最新发布
Marks10的博客
10-18 376
使用Lex工具，设计与实现一个制定语言的词法分析器，加深对词法分析原理的理解，熟练使用Lex。1、关键字mainwhile doreturnread write所有关键字都是小写。2、专用符号运算符包括：=、+、-、*、/、<、<=、>、>=、!分隔符包括：,、;3、其它标记ID和NUM通过以下正规式定义其它标记：4、空格由空白、制表符和换行符组成空格一般用来分隔ID、NUM、专用符号和关键字，词法分析阶段通常被忽略。
Lex使用指南
热门推荐
火雨(Nick)
12-20 2万+
Lex使用指南
使用lex---01
weixin_34301307的博客
02-18 245
（一）、写在前面 lex是构建词法分析程序的工具。词法分析程序把随机输入流标记化，即将他拆分成词法标记。然后，可以进一步处理这种被标记化的输出，通常是由yacc来处理的，或者他就成为“最终产品”。 当编写lex规范的时候，可以创建lex匹配输入所用的一套模式。每次匹配一个模式的时候，lex程序就调用我们提供的C代码来处理匹配的文本。采用这种方式，lex程序将输入拆分成成为...
词法分析器的生成器——lex/flex
weixin_44705391的博客
04-09 6135
文章目录前言编译器概述词法分析简介flex初步体验flex进阶yylex()模式匹配flex常用全局变量和宏条件模式 前言 关于lex和yacc的介绍看文章：编译原理之lex,yacc学习 关于flex和lex其实是类似的，lex不再赘述。 此文章主要介绍flex。thrift框架的compiler采用flex词法分析生成器来生成词法分析代码。flex通过编译thriftl.ll生成thriftl.cc文件，thriftl.cc即是该compiler的词法分析代码。 对于flex只弄懂其原理与用法，不追究
【编译原理】用Lex做词法分析
爱.NET
07-20 2575
08年9月入学，12年7月毕业，结束了我在软件学院愉快丰富的大学生活。此系列是对四年专业课程学习的回顾，索引参见：http://blog.csdn.net/xiaowei_cqu/article/details/7747205 用Lex做词法分析 Lex编译器将输入的模式转换成一个状态转换图，并生成相应的实现代码，并存放到文件lex.yy.c中，这些代码模拟了状态转换图。 用...
编译原理-词法分析器1(lex实现)
qq_41004619的博客
11-05 5409
编译原理课实验一是词法分析器，但是在网上查了很多资料，发现用lex实现还要用Linux，Windows可以用对应的flex实现，但是网上的资料很零散，所以整理了一下从安装到配置，到实现一个词法分析器的过程 一、 安装 下载flex和bison UnxUtils： http://pan.baidu.com/s/1o6NY1E6 Updates：http://pan.baidu.com/s/1o6N...
LEX：词法分析程序构造工具详解
"这篇文档是关于词法分析程序自动构造工具LEX的介绍，结合了编译原理的基础知识，包括正规式、NFA、DFA及其转换，以及如何使用LEX构建词法分析程序的过程。" 在计算机科学中，编译器是至关重要的组成部分，它们将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值