2.2 词法记号的描述与识别

思维导图：

在这一节中，我们将深入探讨词法记号的描述与识别，特别是通过正规式来展开讨论。正规式（或正则表达式）是计算机科学中用于描述字符串模式的一种强大工具。它们不仅用于词法分析，而且广泛应用于文本处理、数据验证等领域。本节的目标是向读者介绍正规式的基本概念、语言的形式定义以及词法记号的识别过程。

2.2.1 串和语言

在深入正规式之前，我们首先需要理解一些基本概念，如字母表、串（字符串）、语言等。字母表是一个有限符号集，这些符号可以是英文字母、数字、标点符号等。例如，二进制字母表由{0,1}组成，而ASCII和Unicode则是更为复杂的字母表，后者包含全球各个字母表中的约十万个字符。

串是字母表中符号的有限序列。例如，"banana"是一个长度为6的串，而空串（表示为ε）是长度为0的特殊串。串的长度，记为|s|，是串中符号的数量。

语言是某个字母表上所有串的集合。这个定义非常宽泛，可以包括空集（没有任何串的语言）和仅包含空串的集合。更具体的例子包括所有语法正确的C程序的集合或所有语法正确的英语句子的集合。值得注意的是，这里的定义并未给语言中的串赋予任何特定的意义。

连接、幂和语言的操作

在理解了串和语言的基本概念后，我们介绍几种操作：

• 连接：如果x和y都是串，那么它们的连接（记为xy）是将y接在x后面形成的新串。空串ε作为连接操作的恒等元素，即对任何串s，有εs = sε = s。
• 幂：串的幂表示重复连接自身。例如，s² = ss，s³ = sss，以此类推。
• 语言的操作：我们可以对语言进行和、连接和闭包等操作，从而定义新的语言。例如，L∪M定义为L和M的并集；LM定义为L和M的连接；L*表示L的闭包，即包含零个或多个L的连接。

例子和应用

通过上述定义，我们可以开始探索如何使用这些操作来描述和识别词法记号。例如，考虑一个简单的语言L，包含所有英文字母，和另一个语言D，包含所有数字。利用语言操作，我们可以定义新的语言：

1. L∪D表示字母和数字的集合。
2. LD表示所有由一个字母后跟一个数字组成的串。
3. L^6表示所有由6个字母组成的串。
4. L*表示所有可能的字母串（包括空串）。
5. L(L∪D)*表示以字母开头，后面跟随任意字母或数字的串。
6. D*表示所有的数字串（不包括空串）。

这些例子说明了如何从基本的字母表和数字集开始，通过语言操作构建新的语言。在下一节中，我们将介绍正规式，这是一种描述这些模式和更复杂模式的强大方式，为词法分析提供了理论基础。

在这一节中，我们会深入探讨正规式（也称为正则表达式）及其在词法记号描述与识别中的应用。正规式是一种用于表示字符串模式的数学工具，它们通过简单的规则组合来定义复杂的文本模式。这些规则的集合不仅形成了一种强大的语言描述工具，还使得正规式成为处理文本和实现词法分析器的基石。

2.2.2 正规式的定义

正规式定义在一个给定的字母表上，表示特定的字符串集合，即语言。通过一系列定义好的构造规则，正规式能够精确地描述和识别字符串的模式。这些规则包括：

1. 基本符号：空串ε和字母表Σ中的符号a都可以被视作最简单的正规式。ε表示空字符串集合，而a表示包含单个符号a的语言。
2. 操作符：正规式通过三种基本操作符来构造更复杂的模式：选择(|), 连接(隐式表示)和闭包(*)。
   • 选择：如果r和s是正规式，表示语言L(r)和L(s)，则r|s是一个正规式，表示L(r)和L(s)的并集。
   • 连接：如果r和s是正规式，则rs（r后跟s）表示L(r)和L(s)的连接。
   • 闭包：如果r是一个正规式，则r*表示包含L(r)中串重复任意次（包括零次）形成的串集合。

优先级和结合性

正规式中的操作符有其特定的优先级和结合性规则，这有助于减少表达式中不必要的括号。优先级从高到低依次是闭包(*)、连接(隐式)和选择(|)。所有操作符默认为左结合性，这意味着在表达式求值时，相同优先级的操作符会从左到右进行计算。

正规式的示例

通过几个示例，我们可以更好地理解正规式的用法：

• ab表示由字符a后跟字符b组成的串集合。
• (a|b)*表示由a和b组成的所有可能串的集合，包括空串。
• a(ba)*表示以a开头，后跟任意数量的ba序列的串集合。

等价和代数定律

正规式遵循一系列代数定律，这些定律可以用于简化表达式或证明两个正规式等价。例如，选择操作是可交换的和可结合的，连接操作是可结合的，而闭包操作符*遵循幂等律。这些定律使得我们能够通过代数变换来优化正规式，使其更加简洁或更高效。

结论

正规式不仅是理论计算机科学中的一个重要概念，也是实际应用中不可或缺的工具。通过学习正规式的构造、操作符及其代数定律，读者可以更好地理解如何使用这些强大的模式匹配工具来描述和识别语言中的词法记号。在接下来的博客中，我们将探讨如何将正规式应用于构建词法分析器，进一步深入编译原理的世界。

在本节中，我们将讨论如何通过正规定义来命名和引用正规式，以实现对复杂模式的简洁描述。这种方法不仅提高了表示的可读性，而且在定义复杂的词法结构时极为有用。通过引入命名机制，我们可以构建模块化的正规式，这在定义编程语言的词法规则时尤其重要。

2.2.3 正规定义的概念

正规定义允许我们为特定的正规式赋予一个名称，然后在定义其他正规式时使用这个名称。这相当于在编程中定义变量并在后续代码中引用这些变量，旨在提高代码的可管理性和可读性。正规定义遵循以下形式：

• 定义序列：一系列形式为d1 → r1, d2 → r2, ..., dn → rn的定义，其中每个di是一个唯一的名称，ri是一个正规式，这个正规式可以是基于字母表Σ及前面定义的任何名称d1, d2, ..., di-1。
• 无递归定义：由于每个正规式ri只能包含字母表上的符号和之前定义的名称，因此避免了递归定义的可能性。这样，每个名称di最终都可以被替换为一个基于Σ的标准正规式。

正规定义的实际应用

让我们通过一些实际例子来展示正规定义的强大之处：

C语言标识符

C语言的标识符可以包含字母、数字和下划线。通过正规定义，我们可以简洁地表示这个模式：

• letter_ → A | B | ... | Z | a | b | ... | z | _
• digit → 0 | 1 | ... | 9
• id → letter_ (letter_ | digit)*

这里，letter_和digit被定义为基本字符集，然后在定义id时被引用，表示一个标识符是以字母或下划线开头，后面跟着任意数量的字母、数字或下划线。

无符号数

无符号数的定义涉及整数部分、可选的小数部分和可选的指数部分。通过正规定义，我们可以清晰地表示这种复杂结构：

• digit → 0 | 1 | ... | 9
• digits → digit digit*
• optional_fraction → .digits | ε
• optional_exponent → (E (+ | -)? digits) | ε
• number → digits optional_fraction optional_exponent

正规定义的优势

使用正规定义的主要优势在于能够以模块化和层次化的方式描述复杂的字符串模式。这种方法提高了正规式的可读性和可维护性，特别是在定义具有多个组件的复杂模式时。此外，通过引用已命名的正规式，可以避免重复定义相同的模式，从而减少错误并提高效率。

结论

正规定义是理解和应用正规式的一个重要概念，特别是在进行词法分析和文本处理时。它们允许我们以一种结构化和简洁的方式表示复杂的字符串模式，是编译器设计和文本处理工具中不可或缺的工具。通过学习如何有效地使用正规定义，我们可以提高对编程语言词法结构的理解，并更有效地实现词法分析器。

在这一节中，我们将探讨如何利用状态转换图来识别编程语言中的词法记号。状态转换图是一种强大的工具，用于描述和实现词法分析器，即那些将源代码字符串转换为记号（tokens）序列的程序。通过例子，我们将看到如何将复杂的正规定义转换为直观的图形表示，从而简化词法分析的实现过程。

2.2.4 状态转换图的基本概念

状态转换图由一系列状态（用圆圈表示）和状态之间的转换（用有向边表示）构成。每个转换都基于输入字符，而每个状态都代表了词法分析器在识别过程中的一个特定点。这些图形化的表示不仅有助于理解词法分析过程，而且直接影响了词法分析器的设计和实现。

开始状态和接受状态

• 开始状态：每个状态转换图都有一个特定的开始状态，标志着词法分析过程的起点。
• 接受状态：被双圈标记的状态为接受状态，表示成功识别了一个记号。接受状态可能会关联特定的动作，如返回一个记号给语法分析器。

实例解析

考虑以下正规定义，它描述了一种编程语言（如C语言）中的关键字、标识符、数字等元素：

• while → while
• do → do
• relop → < | <= | = | <> | > | >=
• letter → [A-Za-z]
• id → letter(letter | digit)*
• number → digit*(.digit*)?(E(+|-)?digit)?

关系算符的状态转换图

以关系算符relop为例，其状态转换图说明了如何从开始状态通过读取特定的字符序列（如<，<=，=等）来识别不同的关系算符。每个转换基于当前输入字符，最终到达的接受状态决定了识别到的关系算符类型，并执行相应的动作（如返回记号relop和对应的属性值）。

标识符和关键字的识别

标识符的状态转换图展示了如何通过连续读取字母和数字来识别标识符。关键字如while和do可以视为特殊的标识符，因此可以使用同一个状态转换图来识别。到达接受状态后，通过查找关键字表来确定是返回一个标识符记号还是一个特定的关键字记号。

空白字符的处理

空白字符（如空格、制表符和换行符）的处理也可以用状态转换图表示。在识别到空白字符序列后，词法分析器不返回任何记号，而是跳过这些字符，继续寻找下一个记号。

状态转换图的合并

在实际的词法分析器实现中，通常需要将多个状态转换图合并成一个，以便在一个统一的框架下识别所有类型的记号。这要求设计一个能够根据输入字符灵活跳转的状态机。

结论

状态转换图是理解和实现词法分析的关键工具。它们将正规定义转换为图形化表示，使得词法分析器的设计和开发过程更加直观和高效。通过学习如何构建和使用这些图，开发者可以更好地理解编程语言的词法结构，并实现准确的词法分析器。

 总结：

重点

1. 正规式（Regular Expressions）：

   • 定义了如何用简洁的方式表示一组字符串的方法。
   • 包括基本符号、操作符（如选择|、连接和闭包*）及其优先级和结合性。
   • 应用于描述语言的简单模式。

2. 正规定义（Regular Definitions）：

   • 允许通过给定的名称引用正规式，增加了表示的可读性和模块化。
   • 用于构建复杂的模式描述，避免递归定义。

3. 状态转换图（State Transition Diagrams）：

   • 描述了词法分析器如何从输入字符串中识别记号的过程。
   • 包括状态、转换、开始状态、接受状态和回退动作的概念。
   • 是理解有限自动机和构建词法分析器的基础。

难点

1. 理解和应用正规式的操作符：

   • 正确理解选择、连接和闭包操作符的使用及其优先级可能是初学者的一个难点。
   • 如何利用这些操作符来准确描述复杂的语言模式。

2. 构建和解读状态转换图：

   • 状态转换图是一种直观的工具，但对于复杂的词法规则，转换图可能变得非常复杂。
   • 理解如何从正规式或正规定义转化为状态转换图，特别是如何处理接受状态和回退动作。

易错点

1. 混淆正规式的符号与字面字符：

   • 在正规式中，特定符号（如*, |, (, )）有特殊含义，但有时它们也可能代表字符本身，需要正确使用转义序列。

2. 忽略操作符的优先级：

   • 不正确地应用操作符的优先级可能导致正规式的意义与预期不符。

3. 状态转换图的细节处理：

   • 在构造状态转换图时，易错地处理接受状态和非接受状态，特别是在需要进行回退动作时。

4. 过分依赖状态转换图的直观性，忽略正规定义的重要性：

   • 状态转换图虽直观，但在定义复杂模式时，正规定义的层次化和模块化作用不容忽视。

结论

整个2.2节提供了一套描述和识别词法记号的理论和工具，对于深入理解编译器的词法分析阶段至关重要。理解正规式、正规定义以及如何将它们转化为状态转换图，是掌握词法分析核心概念的关键。