编译原理中的token简介

编译原理中的token简介

编译原理是介绍如何将高级程序设计语言转换成计算机硬件能识别的机器语言，以便计算机进行处理。

词法分析(Lexical Analyzer)是编译器的第一个步骤，它也被称为 扫描(scanning)。词法分析器(semantic analyzer)通过读入外部的字符流（源程序）对其进行扫描，并且把它们组成有意义的词素(lexeme)序列，对于每个词素，词法分析器都会产生词法单元(token) 作为输出。

编译原理领域中将高级程序语言中的最小的单元称为token，token是构成源程序的基本不可再分割的单元。高级程序设计语言在分析源程序时的第一步就是把源程序分割为一个个独立的token，这个过程就称为词法分析。

高级语言中的token

有以下几类：

分隔符（界限符）

关键字和保留字

标识符

操作符

字面值

高级语言中最常见的分隔符（界限符）有空格、换行符、分号、大括号等等，我们可以利用空格来分隔token、用换行符或者分号来分隔语句、用大括号或者是缩进(数量相等的空格或者是制表符)来分隔代码块(复合语句)。操作符也是一种特殊的分隔符。

标识符

编程语言的标识符是用来标识变量、自定义类型、函数等实体的符号名称，我们在后面想要使用这个实体的话只需要用这个实体的名字引用它就可以了。不同类型的标识符具有不同的作用&#