ANTLR使用监听器遍历语法分析树

在ANTLR生成语法分析树之后我们可以对其节点进行遍历，在过程中完成相应的逻辑操作。ANTLR提供了两种遍历分析树的方法–监听器和访问器，默认会生成监听器的接口和代码。利用监听器实现一个语法分析器将Java中的short数组转化为字符串，例如

short[] dataArr={1, 2, 3};
String dataStr="\u0001\u0002\u0003";	//将short值看作Unicode字符

语法描述文件

如下所示，新建一个语法文件ArrayInit.g4

/** 语法文件以grammar开头，本语法名为ArrayInit，且语法名和文件名必须一致 */
grammar ArrayInit;

/** 定义一条名为init的规则，匹配花括号中以逗号分隔的value */
init  : '{' value (',' value)* '}' ; 

/** 定义一个 value 可以是嵌套的结构，也可以是一个简单的整数INT */
value : init
      | INT		//使用‘|’来分割多个备选分支
      ;

// 语法规则以小写字母开头, 词法规则以大写字母开头
INT :   [0-9]+ ;             // 定义词法符号INT，由一个或多个数字组成
WS  :   [ \t\r\n]+ -> skip ; // 定义空白词法符号并跳过

生成与测试

运行ANTLR工具，生成相关的语法分析器和词法分析器

> antlr4 ArrayInit.g4

其中

• ArrayInitParser.java是语法分析器类，每条语法规则都在该类中对应一个方法
• ArrayInitLexer.java是词法分析器类，用于识别输入中的词法
• ArrayInit.tokens，每个词法符号类型对应一个数字，将映射关系保存到该文件
• ArraylnitListener.java,：ArraylnitListener接口中定义了语法树遍历时监听器的回调方法
• ArraylnitBaseListener.java是该接口的默认实现类，其中的每个方法都为空，我们可以覆盖需要的回调方法，在其中完成逻辑操作。

如下所示为tokens文件中定义的符号类型，可以看到‘{’、‘，’、‘}’分别对应1、2、3，整形INT和空白WS对应4、5

T__0=1
T__1=2
T__2=3
INT=4
WS=5
‘{’=1
‘,’=2
‘}’=3

编译上述所有Java文件，

javac *.java

测试，使用grun命令运行TestBig对语法ArrayInit进行测试，起始语法规则为init，并且输出词法符号

> grun ArrayInit init -tokens
{99, 100, 101}
^Z
[@0,0:0='{',<1>,1:0]	
[@1,1:2='99',<4>,1:1]	# 第1个词法符号（从0开始），位置从1到2，内容是‘99’，类型为4（对应INT），位于输入文本的第1行第1个字符（从0开始计）
[@2,3:3=',',<2>,1:3]
[@3,5:7='100',<4>,1:5]
[@4,8:8=',',<2>,1:8]
[@5,10:12='101',<4>,1:10]
[@6,13:13='}',<3>,1:13]
[@7,16:15='<EOF>',<-1>,2:0]

以lisp风格输出语法分析树，父节点和子节点在一行显示

>grun ArrayInit init -tree
{99,{100,101},102}
^Z
(init { (value 99) , (value (init { (value 100) , (value 101) })) , (value 102) })

以GUI形式输出语法树，

grun ArrayInit init -gui
{99,{100,101},102}
^Z

可以看到它由语法规则init和value对应的节点构成

使用监听器遍历树

经过上面的操作可以将输入字符串转化为语法分析树，在树的叶子节点可以得到具体数字，接下来通过对语法分析树遍历将数字转化为字符串。可以重写ArrayInitBaseListener类中的相关方法，在遍历到语法分析树相应节点时，重写监听器方法将数字转化为字符串。

翻译的过程就是字符映射的过程，例如下面将{映射为“，数字映射为16进制字符串，}映射为”

如下所示ShortToUnicodeString 类继承了ArrayInitBaseListener 并重写了对应的enter、exit方法，在其中完成字符映射

public class ShortToUnicodeString extends ArrayInitBaseListener {
    /** 将 { 映射为 " */
    @Override
    public void enterInit(ArrayInitParser.InitContext ctx) {
        System.out.print('"');
    }

    /** 将 } 映射为 " */
    @Override
    public void exitInit(ArrayInitParser.InitContext ctx) {
        System.out.print('"');
    }

    /** 将整形数字映射为16进制字符串 */
    @Override
    public void enterValue(ArrayInitParser.ValueContext ctx) {
        // Assumes no nested array initializers
        int value = Integer.valueOf(ctx.INT().getText());
        System.out.printf("\\u%04x", value);
    }
}

接着实现主函数文件Translate.java用于从标准输入读入输入数据，构建语法分析树，进行遍历并处罚监听器的回调函数完成转换

//引入ANTLR运行依赖库
import org.antlr.v4.runtime.*;
import org.antlr.v4.runtime.tree.*;

public class Test {
    public static void main(String[] args) throws Exception {
        ANTLRInputStream input = new ANTLRInputStream(System.in);	// 通过CharStream从标准输入读入数据
        ArrayInitLexer lexer = new ArrayInitLexer(input);			//词法分析器对输入进行处理
        CommonTokenStream tokens = new CommonTokenStream(lexer);	//将词法分析器产生的词法符号放到缓冲区
        ArrayInitParser parser = new ArrayInitParser(tokens);		//将词法符号送入语法分析器

        ParseTree tree = parser.init(); 					//从init规则开始进行语法分析
        ParseTreeWalker walker = new ParseTreeWalker();		//创建分析树的遍历器
        walker.walk(new ShortToUnicodeString(), tree);		//遍历语法分析树，触发监听器的回调函数完成转换
        System.out.println();
    }
}

接下来对Translate及相关Java程序进行编译然后运行，输出如下，可以看到完成了从short数组到字符串的转换

D:\Code\antlr\demo\chapter3>javac *.java

D:\Code\antlr\demo\chapter3>java Translate
{99,100,101}
^Z
"\u0063\u0064\u0065"

例子：使用监听器抽取Java方法

实现一个语法文件解析器，从Java类文件中，抽取方法并生成对应的接口定义

public class Demo {
	void f(int x, String y) { }
	int[ ] g(/*no args*/) { return null; }
	List<Map<String, Integer>>[] h() { return null; }
}

interface IDemo {
	void f(int x, String y);
	int[ ] g(/*no args*/);
	List<Map<String, Integer>>[] h();
}

首先Java的语法文件部分定义如下

classDeclaration
    :   'class' Identifier typeParameters? ('extends' type)?
        ('implements' typeList)?
        classBody
    ;
   
methodDeclaration
    :   type Identifier formalParameters ('[' ']')* methodDeclarationRest
    |   'void' Identifier formalParameters methodDeclarationRest
    ;

通过使用监听器对生成的语法树进行遍历时，我们可以监听其中类定义和方法定义，例如当enterClassDeclaration()触发时，代表遍历到了类节点，此时打印相关的类信息，同理输出方法信息，完成遍历后就生成了对应的接口方法

public class ExtractInterfaceListener extends JavaBaseListener {
    JavaParser parser;
    public ExtractInterfaceListener(JavaParser parser) {this.parser = parser;}
    /** 监听对类定义的匹配 */
    @Override
    public void enterClassDeclaration(JavaParser.ClassDeclarationContext ctx){
        System.out.println("interface I"+ctx.Identifier()+" {");
    }
    @Override
    public void exitClassDeclaration(JavaParser.ClassDeclarationContext ctx) {
        System.out.println("}");
    }

    /** 监听对方法定义的匹配 */
    @Override
    public void enterMethodDeclaration(
        JavaParser.MethodDeclarationContext ctx
    )
    {
        TokenStream tokens = parser.getTokenStream();	//获取词法分析器，进而获取相关信息
        String type = "void";
        if ( ctx.type()!=null ) {
            type = tokens.getText(ctx.type());
        }
        String args = tokens.getText(ctx.formalParameters());	//获取方法参数列表
        System.out.println("\t"+type+" "+ctx.Identifier()+args+";");
    }
}