tokenization

• 词法分析（英语：lexical analysis）是计算机科学中将字符序列转换为单词（Token）序列的过程。进行词法分析的程序或者函数叫作词法分析器（Lexical analyzer，简称Lexer），也叫扫描器（Scanner）。
• 词法分析是编译程序的第一个阶段且是必要阶段；词法分析的核心任务是扫描、识别单词且对识别出的单词给出定性、定长的处理

• 词法分析程序的功能:

  完成词法分析任务的程序称为词法分析程序或词法分析器或扫描器。 

  从左至右地对源程序进行扫描，按照语言的词法规则识别各类单词，并产生相应单词的属性字。

• 这里的单词是一个字符串，是构成源代码的最小单位。从输入字符流中生成单词的过程叫作单词化（Tokenization），在这个过程中，词法分析器还会对单词进行分类。

• 针对如下C语言表达式：

  sum=3+2;将其单词化后可以得到下表内容：
  

   

 token是一个二元组，包括单词信息和单词类型