自制脚本语言（7） 脚本语言的完善：字符串、注释

摘要：前面提到的编译器解释器的进一步完善，即加入字符串和注释的处理。

http://download.csdn.net/detail/nklofy/9381261

github.com/nklofy/Compiler

  字符串和注释不能由正则表达式的方式来处理。注释的两种形式是//abc，/*abc*/，这就会有嵌套和混用的问题；字符串里面会有转义符，例如“a\”b“。这样就不是正则语言了，而是成了上下文无关语言，正则表达式的处理方式无效。所以，我在tokenizer里面用一段手写的程序来提取注释和字符串。

  而还有个问题是字符，字符最好与字符串分开处理，虽然操作时往往混合拼接到一起，但是为了以后加上字符数组的功能，还是作为一个单独的基本类别。这样就有3个手写的函数，getNote()、getString()和getChar()，它们被getToken()调用。

  tokenizer中能传递注释和字符串，那么parser就要作相应的修改。好在原来设计语言的时候，已经预留了字符串和字符的非终结符表示，就连AST类和生成方法都已经写好了。所以，parser里面只需要完善一下对应接口的具体方法就好了。其次是AST类，要修改+操作符的操作。对字符串或字符类型，就需要把左右子AST都提取出字符串值然后拼接。其余基本不需要改动。对注释，目前不打算处理，编译后直接丢弃了注释的信息。

  完成加入注释和字符串功能后，第一版的编译器告一段落。这个编译器实现的功能，已经可以解决很多数学问题，斐波那契数、阶乘、欧几里得辗转相除法，等等。但是功能还非常不够，例如数组、例如类、例如继承封装多态、例如泛型、例如函数式编程，等等。以后会慢慢加上，再把解释器改为虚拟机。工作还有很多，下面的一步是把parser generator改写为GLR方式。parser中预计会用树结构代替LR(1)的符号栈结构。这就需要加一个新的符号树抽象类。