及c语言实现 pdf,词法分析及其C语言实现.PDF

词法分析及其C语言实现

山西电子技术

软件天地

2007 年第 3 期

词法分析及其 C 语言实现

郜 　瑜

( 中国人民大学信息学院 ,北京 100872)

摘 　要 :介绍了编译过程的第一阶段 ———词法分析的功能和输出 ,词法分析器的实现模式及词法出错的处理 ,

并在此基础上依据 C 语言的范式给出了设计 C 语言程序的词法分析器的基本思路和需要考虑的问题 。

关键词 :词法分析 ;C 语言的BNF 范式 ;词法分析器设计

中图分类号 : TP313 　　文献标识码 :A

0 　引言 1 . 3 　词法分析器的实现模式

在编译程序中 ,词法分析器可以有两种实现模式 :完全

为了将一个程序从一种语言翻译成另一种语言 ,编译器

独立模式和相对独立模式 。编译程序采用哪种模式实现词

必须首先把程序的各种成分拆开 ,并搞清其结构和含义 ,然

法分析器完全取决于实现者的总体考虑 。

后再用另一种方式把这些成分组合起来 。编译器的前端执

1 . 4 　词法出错处理

行分析 ,后端进行合成 。词法分析是编译过程的第一阶段 ,

在词法分析阶段发现的错误统称为词法错误 ,它们大多

它的主要任务是逐个地扫描构成源程序的字符流 ,把它们翻

是单词拼写错误 。有些单词元素由特定的规定也能发现错

译成有意义的单词序列 ,提供给语法分析器 。

误 。例如 ,在 C + + 语言中 ,实型常量的指数形式要求在 e

1 　词法分析器的设计 或 E 前面的尾数部分必须有数字 ,后面的指数部分必须是

1. 1 　词法分析器的功能与输出 整数 。如果程序中出现了 E55 或 10E0. 5 ,词法分析器就应

词法分析器的输入是源程序 ,可以看作是特定语言所允 该报错 。但是 ,因为词法分析器只是掌握了程序及其语言的

许的基本字符流 。这些符号在多数高级程序语言中分成了 局部知识 ,所以几乎发现不了更多的错误 。

五种单词记号 :关键字 ,标识符 ,运算符 ,常量 ,分界符 。 2 　词法分析器的 C 语言实现

词法分析器的基本功能是 ,按照语言的定义规则 ,逐个

2 . 1 　综述

的读入源程序的符号 ,识别出对语言有意义的符号串 , 即单

该 C 语言的词法分析器输入为 C 语言源代码 ,输出识

词符号 ;然后分析单词符号的属性 ,并把单词符号及其属性

别出的单词的二元属性及程序中的错误 ,并填写关键字表

填写在符号表中; 同时把源程序改造成等价的计算机内部表

( ) ( ) ( ) (