编译原理之词法分析



词法分析：

编译程序的第一步工作，编译程序的一部分。

核心作用，将字符序列转化为计算机的内部表示

读出字符序列，逐个拼出单词，并构造相应的内部表示。

检查词法错误。

例如对于字符序列源文件，经过词法分析

if (position > 10) rate = 3.14 * initial;

则应该产生下面的内容。

<$if,->, <$open, ->, <$id, position>, <$gt, ->, <$num,10>

<$close,->, <$id, rate>, <$eq, ->, <$num, 3.14>, <$mult, ->,

<$id,initial>，<$semi, ->

 

词法分析器的接口：

1，仅仅作为语法分析的子程序

read

call

Src                                                       词法分析                                                                         语法分析

Char

Token

 

2， 另一类作为编译器的独立一遍处理器

 

 src                                     char                    词法分析              Token            语法分析

 

 

在这里我们讲述一下单词的含义：

单词：指的是语言中具有独立含义的最小单位。对于上面的程序语句而言。

if (position > 10) rate = 3.14 * initial;

这条语句，在词法分析的阶段我们考录3.14这个字符序列。我们可以有多种单词构成。例如

3.14 * initial这三个部分，当然这是表达式乘积，但是倘若我们再进一步的把3.14分为3  .   14

这样的划分方式就不太合理了。因为对于我们而言，3.14作为一个具有独立含义的单位，表示数字。

 

 

 

在一个程序中，单词可以分为下列几类：

 

保留字：-------while   do

 

标识符：identifier， a, b , class T

 

Word

常量：

true，

10， ‘A’

 

1， 运算符        +  - *   /

 

2， 界限符       {， }， ；

特殊符号：

3， 格式符      EOF

 

 

 

 

那么如何实现词法程序：

需求：

描述方式

算法                                                                 正则表达式

 

单词的描述工具分为两种：

 

 

  自动机

 

字母表：∑。程序中所有可能出现的符号。   A / - j 等等

符号串：符号组成的任意有穷序列

 

 

符号串的连接：

ɑ，β 分别为字母表组成的符号串，ɑ = abc， β  = def

则两者的连接为：ɑβ  = abcdef

符号串的方幂

符号串集合的乘积

A， B分别是两个符号串集合，其中A = {ab, cd}, B = {ef, gh}

则A与B的的乘积还是一个集合{abef,abgh, cdef, cdgh}

 

而方幂则表示为

假如符号串集合为A = {a, b}

则A0={e}, A1=A,  A2=AA, …, An=AA… A

 

 

A的3次方幂为AAA = (AA)A ={aa, ab, ba, bb}{a, b} = {aaa, aba, baa, bba, aab, abb, bab, bbb}

 

符号串的正闭包

A是符号串集合，则A+称为符号串集合A的正闭包

A+ = A+=A1∪A2∪A3 …∪An…

 

符号串集合的的星闭包

 

A* =A0∪A1∪A2∪A3 …∪An…=A0∪A+

 

 

正则表达式的定义：

设∑为字母表，RE为定义在∑的正则表达式，则有

 

 

 

正则表达式对应的语义解释被称作正则集，正则集也是正则表达式所对应的语言。

在词法分析中，正则表达式是针对单词进行描述的，为此，我们要建立一种从正则表达式到字符串集合的映射关系。

使得正则表达式的语义解释描述成字符串的形式。

 

设e, e1, e2为∑上的正则表达式，则e所对应的正则集L(e)取值如下:

 

 

 

 

 

正则表达式的性质：

+ = * >  . > |   运算优先级

A | B = B | A

A | (B | C) = A ( B | C)        |的可结合性

A|(BC) = (AB) | (AC)   连接的可分配性

A** = A*                 幂的等价性

 

用正则表达式表示描述词法：

L= A|BC|D|……|a|b|……|z

D = 0|1|2|……|9 ，   D1 = 1|2|3|……|9

 

标识符：（L）|(L|D)*

常数：    （+|-|Φ）|D1D*|0

实数：   （+|-|Φ）|D1D*|0.D*

 

特殊符号：使用枚举

保留字：   while | if | do|……

运算符：  +|-|*|……

分界符： { | } | ；|……

控制符：   \t   \n 

 

 

当然正则表达式不仅仅可以用于词法分析也可以在其它的地方使用，例如手机号码归属地，程序分析技术等等。

 

正则表达式的局限性：

正则表达式缺乏对对称性字符串的表达能力。