编译器之词法分析器(Lexical Analyzer)

本文介绍了词法分析在编译器中的作用,详细阐述了词法分析器的任务,包括为简单编程语言创建词法分析器的描述,支持的标记类型,如操作符、符号、关键字和标识符。内容涵盖了解决冲突的策略,如'最长标识匹配',以及错误处理和测试用例。最后,提供了多种编程语言(C、C#、Go、Java、JavaScript、Python)的代码实现示例。
摘要由CSDN通过智能技术生成

定义

(来自维基百科
词法分析(英语:lexical analysis)是计算机科学中将字符序列转换为标记(token)序列的过程。进行词法分析的程序或者函数叫作词法分析器(lexical analyzer,简称lexer),也叫扫描器(scanner)。词法分析器一般以函数的形式存在,供语法分析器调用。

任务描述

为下面指定的简单编程语言创建一个词法分析器。 程序应从文件和/或stdin读取输入,并将输出写入文件和/或stdout。 如果使用的语言具有lexer模块/库/类,那么提供两种版本的解决方案将是很好的选择:一个不带lexer模块,另一个带lexer模块。

支持以下标记
操作符

Name Common name Character sequence
Op_multiply multiply *
Op_divide divide /
Op_mod mod %
Op_add plus +
Op_subtract minus -
Op_negate unary minus -
Op_less less than <
Op_lessequal less than or equal <=
Op_greater greater than >
Op_greaterequal greater than or equal >=
Op_equal equal ==
Op_notequal not equal !=
Op_not unary not !
Op_assign assignment =
Op_and logical and &&
Op_or logical or ¦¦

符号

Name Common name Character
LeftParen left parenthesis (
RightParen right parenthesis )
LeftBrace left brace {
RightBrace right brace }
Semicolon semi-colon ;
Comma co
  • 7
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辕门骁骑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值