从零开始写个编译器吧 - 编译器的结构

2019独角兽企业重金招聘Python工程师标准>>>

自然，我们还是先从 tao 语言的编译器下手吧。在动手写编译器之前，得容我将编译器的结构进行进一步的划分。编译器可视为一个黑盒，从其一端输入源代码，另一端产出目标代码。此过程进一步拆分便有了如下形式。

首先是 Tokenizer （词法分析器），它读入一个一个字符，并将其合并成一个一个Token（单词）。这些 Token 将被 Parser（语法分析器）接收并进行进一步处理。Parser 处理结果称之为 Syntax Tree （语法树），此时产物不再是线性结构，而转为变成树形结构了。

一旦得到了 Syntax Tree 即可进行语义分析，之后便可生成代码，至此，整个编译的流程就此走完。可以见如下图。
由于本系列将着重于“写”出编译器，必要的理论和概念还是会交代的。不过会有所侧重，若非与我要写的代码紧密相关，概念和理论也不会做过多着墨。

转载于:https://my.oschina.net/taozeyu/blog/339892