词法分析（lexical analysis）

编译器的第一个步骤称为词法分析。

词法分析器读入组成源程序的字符流，并且将它们组织成为有意义的词素的序列。对于每个词素，词法分析器产生如下形式的词法单元(token)作为输出：

                                                                         <token-name,attribute-value>

第一个分量token-name是语法分析步骤使用的抽象符号，而第二个分量attribute指向符号表中关于这个词法单元的条目。符号表条目的信息会被语义分析和代码生成步骤使用。最后，这个词法单元将被传递给下一个步骤，即语法分析步骤。