关于Python的词法分析与语法分析

这篇文章主要介绍了Python的词法分析(Lexical Analysis)与 语法分析(Syntactic Analysis),需要的朋友可以参考下

词法分析（Lexical Analysis）：分析由字符组成的单词是否合法，如果没有问题的话，则产生一个单词流。

语法分析（Syntactic Analysis）：分析由单词组成的句子是否合法，如果没有问题的话，则产生一个语法树。

在词法分析器分析源代码文本的时候，有一个概念需要明确：

1.物理行：由回车字符序列（在Windows上是CR LF，在Unix上是LF）结尾的字符序列组成一个物理行。

2.逻辑行：由一个或者多个物理行组成，可以明确地使用反斜杠（\）来连接多个物理行使之成为一个逻辑行；或者，处在圆括号，中括号，花括号内的表达式可以跨越多个物理行，但是被当作一个逻辑行。

词法分析器是面向逻辑行的，也就是说，对于词法分析器而言，只有逻辑行才算是一行，它只在逻辑行结束之处才产生NEWLINE这个单词或者说token。

对于每一处缩进，不管它有多少个空白字符，词法分析器只会产生一个INDENT单词或者说token，代表缩进一级，每当要退出一级缩进的时候，词法分析器就会产生一个DEDENT单词或者说token。注意，单词DEDENT并没有一个或一组字符与之对应，它是完全的逻辑概念。

Python使用稍作修改的BNF（巴科斯范式）来表示词法与语法规则。

下面重点说一下需要注意的地方&#x