本文介绍了词法分析在编译器中的作用，详细阐述了词法分析器的任务，包括为简单编程语言创建词法分析器的描述，支持的标记类型，如操作符、符号、关键字和标识符。内容涵盖了解决冲突的策略，如'最长标识匹配'，以及错误处理和测试用例。最后，提供了多种编程语言（C、C#、Go、Java、JavaScript、Python）的代码实现示例。
定义
（来自维基百科）
词法分析（英语：lexical analysis）是计算机科学中将字符序列转换为标记（token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（lexical analyzer，简称lexer），也叫扫描器（scanner）。词法分析器一般以函数的形式存在，供语法分析器调用。
任务描述
为下面指定的简单编程语言创建一个词法分析器。 程序应从文件和/或stdin读取输入，并将输出写入文件和/或stdout。 如果使用的语言具有lexer模块/库/类，那么提供两种版本的解决方案将是很好的选择：一个不带lexer模块，另一个带lexer模块。
支持以下标记
操作符
| Name | Common name | Character sequence |
|---|---|---|
| Op_multiply | multiply | * |
| Op_divide | divide | / |
| Op_mod | mod | % |
| Op_add | plus | + |
| Op_subtract | minus | - |
| Op_negate | unary minus | - |
| Op_less | less than | < |
| Op_lessequal | less than or equal | <= |
| Op_greater | greater than | > |
| Op_greaterequal | greater than or equal | >= |
| Op_equal | equal | == |
| Op_notequal | not equal | != |
| Op_not | unary not | ! |
| Op_assign | assignment | = |
| Op_and | logical and | && |
| Op_or | logical or | ¦¦ |
符号
| Name | Common name | Character |
|---|---|---|
| LeftParen | left parenthesis | ( |
| RightParen | right parenthesis | ) |
| LeftBrace | left brace | { |
| RightBrace | right brace | } |
| Semicolon | semi-colon | ; |
| Comma | co |
最低0.47元/天 解锁文章
扫一扫
3271
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
