词法分析 VS 语法分析

 词法分析阶段是编译过程的第一个阶段。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号，如标识符、常数、运算符、定界符等)。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。

词法分析是从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的单词（token），把作为字符串的源程序变为等价的单词串序列。执行词法分析的程序称为词法分析器，也称为扫描器（scanner）。源程序中的单词符号经扫描器分析，一般产生二元式：单词种别和单词自身的值。单词种别通常用整数编码，如果一个种别只含一个单词符号，那么对这个单词符号，种别编码就完全代表它自身的值了。若一个种别含有许多个单词符号，那么，对于它的每个单词符号，除了给出种别编码以外，还应给出自身的值。

In computer science, lexical analysis is the process of converting a sequence of characters into a sequence of tokens. Programs performing lexical analysis are called lexical analyzers or lexers. A lexer is often organized as separate scanner and tokenizer functions, though the boundaries may not be clearly defined.

The first stage, the scanner, is usually based on a finite state machine. It has encoded within it information on the possib