每一种语言,都是从最开始的语法分析,词法分析,到语意义分析, 本篇主要讲解最最简单的词法分析,也就是将程序员写的代码,拆成一个个最小单元。
我在这里主要是将一个手动实现的词法分析器,重在如何实现。 本词法分析器是针对一个简单计算器的。非高级语言可比较。
之后将会贴出语义分析,语法分析等实现。
以下代码的整体可以理解为:用户在键盘中输入一行计算表达式,回车,代码收到数据,将整行数据读入,开始切割,切割成一个一个的token 保存;供其下游的语法分析器使用。。
源码文件压缩包:http://download.csdn.net/detail/ygy982883422/9782235