【编译原理】词法分析

已于 2022-10-30 11:56:32 修改
阅读量624 收藏
点赞数 2
分类专栏： 零碎总结 文章标签： 正则表达式
于 2022-10-30 11:42:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhemeban/article/details/127595449
版权

目的

词法分析的任务，就是输入源程序，对构成源程序的字符串进行扫描和分解，识别出单词符号。

怎么做呢？

根据构词规则，然后使用有限自动机来描述

几个概念

文法

文法是用来描述语言的语法成分结构构造的形式规则， 我们通常用G表示。
文法定义的形式-四元组（Vn,Vt,P,S）: Vn为非终结符集，Vt 为终结符集，P为规则集，S为识别符|开始符，至少要在一个规则中作为左部出现，Vn ∩ Vt = ∅。
乔姆斯基根据文法生成力不同而对正则语言做的分类，把文法分成4个层级，层级越高，规则越多，下面是四个类型：

具体四个类型之间的关系可以参考这个：文法分类
我们目前只需要知道：
¨0型（无限制文法）:
¨1型（上下文有关）:
¨ 2型（上下文无关）:
¨3型（右线性和正规文法）:

正规式（regular expression）

正规式是定义正规集的数学工具，是说明单词的模式(pattern)的一种表示法，用它描述单词符号时一般比正规文法更简洁。

  • 正规式和正则表达式都是通过一定的语法规则来描述文法，但不是同一个概念。
  • 正规式是一种用来描述正则语言的更紧凑的表示方法
  • 正规式可以由较小的正规式按照特定规则递归地构建。每个正规式r定义（表示）一个语言，记为L（r）。

正规集

能用正规式或正规文法表示的集合称为正规集。

状态转换图

可以理解为状态转换图是词法分析程序的设计工具。

有限自动机

有限自动机是一种状态机，它以一串符号作为输入，并相应地改变其状态。有限自动机是正则表达式的识别器。当正则表达式字符串被输入到有限自动机中时，它会为每个文本更改其状态。如果输入字符串成功处理并且自动机达到其最终状态，则接受它，即刚刚输入的字符串被认为是当前语言的有效标记。

有限自动机是对状态图的形式化描述，有限自动机M由五元组（X,Y,S,δ,λ)

  • X,Y是S的非空有限集
  • X：输入集
  • Y：输出集
  • S：状态集合
  • δ：笛卡尔积SxX到S的映射，也叫M的下一状态函数
  • λ：SxY到Y的单值映射，也叫M的输出函数
    有限自动机 = 内部状态集+控制规则

有限自动机分为两类

DFA 确定有限自动机
  • 开始状态唯一
  • 一个输入对应一个状态转换
NFA 不确定有限自动机
  • 开始状态为一个状态集合
  • 一个输入对应多个状态转换
  • 有向弧的标记上可以为空

他们有什么关系？

正规文法和正规式等价

一个正规语言可用正规文法表示也可用正规式表示，两者具有等价性。通常正规式在描述语言时比正规文法更为简洁。

状态转换图和有穷自动机等价

正规式用来构造NFA

DFA和NFA是等价的

盖丽男
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
编译原理 词法分析
Jinbao
04-20 5048
原文地址：编译原理 词法分析 编译原理词法分析词法分析的主要任务是从左至右逐个字符地对源程序进行扫描，产生一个个单词序列，用于语法分析。 1.正则表达式对给定的字符集∑={c1,c2,...,cn},归纳定义： 1.空串ε是正则表达式 2.对于任意c∈∑，c是正则表达式 3.如果M和N是正则表达式，则下列表达式也是正则表达式 (1)选择 M|N={M,N} (2)连接 MN={mn|m∈M,n∈N
电子科技大学编译技术icoding--实验一 词法分析
Whimsically_的博客
10-15 1170
电子科技大学编译技术icoding--实验一 词法分析
编译原理动手实操：词法解析算法的一些概念说明
tyler_download的专栏
03-16 3812
大家好，欢迎大家来到Coding迪斯尼，在深入探究词法解析算法前，我们需要了解一些基本概念。了解基本概念有点像背单词，它有些无聊，但你又不得不做。好在这类事情在我们的课程里不多。大家过过眼，留个心眼就好。 阅读博客的朋友可以到我的网易云课堂中，通过视频的方式查看代码的调试和执行过程：   http://study.163.com/course/courseMain.htm?cou
编译原理之词法分析
weixin_55010563的博客
07-10 1047
编译器是一种将高级语言代码转换为机器代码的程序。编译器通常由多个组件组成，包括词法分析器、语法分析器、语义分析器、代码生成器等。在编译器的构建过程中，使用有限状态自动机（Finite State Automaton，FSA）来识别源代码中的词法单元，例如标识符、关键字、运算符等。有限状态自动机使用状态转换图来定义状态和状态之间的转换，可以使用正则表达式来定义状态转换图。在编译器的词法分析器中，使用有限状态自动机来识别源代码中的词法单元，将其转换为一个个标记（Token），并将其传递给语法分析器进行进一步处理
编译原理-词法分析
热门推荐
云上道人的博客
03-30 1万+
目录 1.词法分析概述 1.1 词法分析原理 1.2 词法分析程序 1.3 词法分析程序两种实现方式 1.3.1 手工构造 1.3.2 自动生成 1.4 词法分析任务 1.5 词法分析的目的 1.6 词法分析的工作 1.7 两种词法分析调用方式 1.7.1 独立执行一遍 1.7.2 需要时即调用 2.高级语言中的单词 2.1 单词的分类 2.2 单词的种别码 2.3...
电子科技大学编译技术flex词法分析icoding参考
m0_73181729的博客
10-15 265
记得把token.h放在同一个文件夹。
编译原理词法分析器_编译原理_词法分析_
09-30
a)启动程序，请求输入测试程序名，键入程序名后自动开始词法分析并输出结果；b)输出结果为单词的二元式序列（样式见样板输出1和2）；c)要求能发现下列词法错误和指出错误性质和位置：非法字符，即不是SAMPLE字符集的...
编译原理词法分析
10-17
编译原理是研究编译器设计的一门学科，其中词法分析是编译器的第一个阶段，也是构建理解程序的关键步骤。词法分析器（也称为扫描器或词法分析器）的主要任务是从源代码中识别出一个个有意义的符号，即“Token”，为...
编译原理词法分析器
10-26
该实验实现简单词法分析器的构造，包括带多位小数点的数的判错等，通过调用文本文档的形式实现。
编译原理实验报告--词法分析器
06-23
package analysis; import java.util.ArrayList; import java.util.List; import library.Digit; import library.KeyWords; import library.Symbol; /** * * @author 周弘懿 * */ public class AnalyseWords { private List temp = new ArrayList(); public List getTemp() { return temp; } /* 关键字或者标识符的长度。 */ private static final int LENGTHOFKEYWORDS = 500; /* 整型数据的长度。 */ private static final int LENGTHOFINT = 500; /* 字符串常量长度。 */ private static final int LENGTHOFSTRING = 1024; String result = ""; int position; /** * 处理程序 * * @return 词法分析后的结果 */ public void process(String aLine) { /* 存放关键字和标识符 */ byte[] word = new byte[LENGTHOFKEYWORDS]; /* 存放数字 */ byte[] number = new byte[LENGTHOFINT]; /* 存放运算符 */ byte[] symbol = new byte[500]; /* 存放字符串常数或是字符常数 */ byte[] string = new byte[LENGTHOFSTRING]; byte temp[]; temp = aLine.getBytes(); if(new String(temp).trim().length() == 0) this.temp.add("请输入C语言程序!"); /** * 主要逻辑 */ for (position = 0; position= temp.length) { return; } /* 滤掉空格、制表键。 */ if (temp[position] != ' ' || temp[position] != '\t') { /* 允许大小写字母和下划线 */ if ((temp[position] >= 65 && temp[position] = 97 && temp[position] = 48 && temp[position] = temp.length) /* 如果已经超过界限就终止循环。 */{ String checkdWord = new String(word, 0, tempPosition + 1); decideWord(checkdWord); return position; } } while ((temp[position] >= 65 && temp[position] = 97 && temp[position] = 48 && temp[position] = 48 && temp[position] = temp.length) /* 如果已经超过界限就终止循环。 */{ String checkdNumber = new String(number, 0, tempPosition + 1); decideNum(checkdNumber); return position; } } while (temp[position] >= '0' && temp[position] <= '9' || temp[position] == '.'); String checkdNumber = new String(number, 0, tempPosition + 1); decideNum(checkdNumber); // 因为上面的已经移到末尾,因为for还要+1，所以要-1 position--; } return position; } /** * 分析字段是实型还是整型常数 * @param checkdNumber 分析数字字段 */ private void decideNum(String checkdNumber) { if (Digit.hasDot(checkdNumber)) { try { double num = Double.parseDouble(checkdNumber); this.temp.add("(" + num + ", 实型常数)\n"); } catch (Exception e) { this.temp.add("(" + checkdNumber + ", 错误，发现多个.)\n"); } } else { try { long num = Long.parseLong(checkdNumber); this.temp.add("(" + num + ", 整型常数)\n"); } catch (Exception e) { this.temp.add("(" + checkdNumber + ", 错误，不是整型常数!)\n"); } } } /** * 分析字符常数，字符串常数和边界符 * @param position 词法分析语句遍历指针 * @param string 字符，字符串和边界符的数组 * @param temp 词法分析语句数组 * @return 返回词法分析语句遍历指针的新位置 */ public int analysisLimitSymble(int position, byte[] string, byte temp[]) { // 过滤字符串常数 if (temp[position] == '"') { // 存储数组的指针 int tempPosition = -1; do { tempPosition++; string[tempPosition] = temp[position]; position++; } while (temp[position] != '"'); //要把最后一个"给过滤掉，所以要向后移一个位置。 tempPosition++; string[tempPosition] = '"'; String checkdNumber=new String(string,0,tempPosition+1); this.temp.add("(" + checkdNumber + ", 字符串常数)\n"); } // 过滤字符常数 else if (temp[position] == '\'') { // 存储数组的指针 int tempPosition = -1; do { tempPosition++; string[tempPosition] = temp[position]; position++; } while (temp[position] != '\''); tempPosition++; string[tempPosition] = '\''; //要把最后一个"给过滤掉，所以要向后移一个位置。 String checkdNumber=new String(string,0,tempPosition+1); //c语言语法规定字符常量的字符数只能是1，再加上2个’，刚好应该是3。 if(tempPosition+1= 2) { this.temp.add("(" + new String(symbol,0,tempPosition+1)+ ", 错误，字符长度仅限2位)\n"); return position; } position++; if(position >= temp.length) /* 如果已经超过界限就终止循环。 */{ String checkdWord = new String(symbol, 0, tempPosition+1); position = decideSymble(checkdWord, temp, position); return position; } } while(Symbol.isSingleSymble(new String(temp, position, 1))); String checkdWord = new String(symbol, 0, tempPosition+1); //单个运算符可能组成符合运算符 position = decideSymble(checkdWord, temp, position); position--; return position; } private int decideSymble(String checkdWord, byte temp[], int position) { if(Symbol.isComboSymbol(checkdWord)) { this.temp.add("(" + checkdWord + ", 复合运算符)\n"); } else if(Symbol.isSingleSymble(checkdWord)) { this.temp.add("(" + checkdWord + ", 运算符)\n"); }else if(checkdWord.equals("/*")) { //过滤注释 this.temp.add("(" + checkdWord + ", 前注释)\n"); do { position++; if(position >= temp.length) { return position; } } while(temp[position] != '*'); /* 直到阅读到*，表示将其间的注释都过滤 */ position++; if(position>=temp.length) { /*如果已经超过界限就终止循环。*/ this.temp.add("错误，后注释缺少结束符'/'\n"); return position; } if(temp[position]!='/') { this.temp.add("错误，后注释缺少结束符'/'\n"); } else { this.temp.add("(" + new String(temp, position-1, 2) + ", 后注释 )\n"); return position-1; } } return position; } public static void main(String[] args) { AnalyseWords aw = new AnalyseWords(); aw.process("sd"); for (String str : aw.temp) { System.out.println(str); } } }
编译原理语法分析和词法分析
01-02
编译原理实践，词法分析和语法分析算法实现，含测试文本和生成文件
编译原理 词法分析 Java版
12-14
编译原理 词法分析 Java版 供课程设计参考
编译原理-词法分析器（C语言源码）
06-01
编译原理实现的C语言词法分析器，能够识别C语言关键字和部分运算符和界符
编译原理实验，包括词法分析、语法分析、语义分析、代码生成等
05-27
本课程中所实现的程序为普通C或C++程序，在Windows环境下，属于控制台应用程序。
编译原理词法分析器及语法分析器实验报告，JAVA实现
06-26
词法分析是编译原理中的基础步骤，它的主要任务是对源代码进行扫描，将源程序中的字符流分解成一个个有意义的单词元素，如保留字、标识符、常数、运算符和分隔符等。在这个实验中，我们将使用Java语言实现一个词法...
编译原理词法分析实验报告.doc
11-27
词法分析是编译器设计中的重要组成部分，它...在这个实验中，我们学习了如何设计和实现一个简单的词法分析器，这对于理解编译器的工作原理至关重要。通过这样的实践，我们可以更深入地理解编程语言的结构和编译过程。
编译原理---词法分析
Qu_Become的博客
04-21 8724
词法分析的原理 词法分析是编译程序进行编译时第一个要进行的任务，主要是对源程序进行编译预处理之后，对整个源程序进行分解，分解成一个个单词，这些单词有且只有五类，分别时标识符、关键字（保留字）、常数、运算符、界符。以便为之后的语法分析和语义分析做准备。 词法分析面对的对象是单个的字符，目的是把它们组成有效的单词（字符串）；而语法的分析则是利用词法分析的结果作为输入来分析是否符合语法规则并且进行语...
【JavaScript】正则表达式 VS 正规式
幸运的梦之星
11-22 5651
在看JS之前没有怎么接触过正则表达式，只是知道有这么个东西，而在软考学习的时候，在编译原理这块有一个正规式，当时只知道这两个东西不是一个概念，具体哪里不同不太清楚，现在正好学到这里了，在此对比总结一下。     一、正规式     一种表示正规集的工具，正规式是描述程序语言单词的表达式。      正规集包含三种运算符：".","|","*"
编译原理词法分析思维导图
最新发布
04-15
下面是一个简单的编译原理词法分析思维导图： --编译原理词法分析思维导图-- 1. 词法分析的作用是什么？ - 将源代码分解成词法单元（Token） - 去除空格、注释等无关内容 2. 词法分析的基本概念 - 字符集：源...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盖丽男

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值