在ANTLR生成语法分析树之后我们可以对其节点进行遍历,在过程中完成相应的逻辑操作。ANTLR提供了两种遍历分析树的方法–监听器和访问器,默认会生成监听器的接口和代码。利用监听器实现一个语法分析器将Java中的short数组转化为字符串,例如
short[] dataArr={1, 2, 3};
String dataStr="\u0001\u0002\u0003"; //将short值看作Unicode字符
语法描述文件
如下所示,新建一个语法文件ArrayInit.g4
/** 语法文件以grammar开头,本语法名为ArrayInit,且语法名和文件名必须一致 */
grammar ArrayInit;
/** 定义一条名为init的规则,匹配花括号中以逗号分隔的value */
init : '{' value (',' value)* '}' ;
/** 定义一个 value 可以是嵌套的结构,也可以是一个简单的整数INT */
value : init
| INT //使用‘|’来分割多个备选分支
;
// 语法规则以小写字母开头, 词法规则以大写字母开头
INT : [0-9]+ ; // 定义词法符号INT,由一个或多个数字组成
WS : [ \t\r\n]+ -> skip ; // 定义空白词法符号并跳过
生成与测试
运行ANTLR工具,生成相关的语法分析器和词法分析器
>
antlr4 ArrayInit.g4
其中
- ArrayInitParser.java是语法分析器类,每条语法规则都在该类中对应一个方法
- ArrayInitLexer.java是词法分析器类,用于识别输入中的词法
- ArrayInit.tokens,每个词法符号类型对应一个数字,将映射关系保存到该文件
- ArraylnitListener.java,:ArraylnitListener接口中定义了语法树遍历时监听器的回调方法
- ArraylnitBaseListener.java是该接口的默认实现类,其中的每个方法都为空,我们可以覆盖需要的回调方法,在其中完成逻辑操作。
如下所示为tokens文件中定义的符号类型,可以看到‘{’、‘,’、‘}’分别对应1、2、3,整形INT和空白WS对应4、5
T__0=1
T__1=2
T__2=3
INT=4
WS=5
‘{’=1
‘,’=2
‘}’=3
编译上述所有Java文件,
javac *.java
测试,使用grun命令运行TestBig对语法ArrayInit进行测试,起始语法规则为init,并且输出词法符号
> grun ArrayInit init -tokens
{99, 100, 101}
^Z
[@0,0:0='{',<1>,1:0]
[@1,1:2='99',<4>,1:1] # 第1个词法符号(从0开始),位置从1到2,内容是‘99’,类型为4(对应INT),位于输入文本的第1行第1个字符(从0开始计)
[@2,3:3=',',<2>,1:3]
[@3,5:7='100',<4>,1:5]
[@4,8:8=',',<2>,1:8]
[@5,10:12='101',<4>,1:10]
[@6,13:13='}',<3>,1:13]
[@7,16:15='<EOF>',<-1>,2:0]
以lisp风格输出语法分析树,父节点和子节点在一行显示
>grun ArrayInit init -tree
{99,{100,101},102}
^Z
(init { (value 99) , (value (init { (value 100) , (value 101) })) , (value 102) })
以GUI形式输出语法树,
grun ArrayInit init -gui
{99,{100,101},102}
^Z
可以看到它由语法规则init和value对应的节点构成
使用监听器遍历树
经过上面的操作可以将输入字符串转化为语法分析树,在树的叶子节点可以得到具体数字,接下来通过对语法分析树遍历将数字转化为字符串。可以重写ArrayInitBaseListener类中的相关方法,在遍历到语法分析树相应节点时,重写监听器方法将数字转化为字符串。
翻译的过程就是字符映射的过程,例如下面将{
映射为“
,数字映射为16进制字符串,}
映射为”
如下所示ShortToUnicodeString
类继承了ArrayInitBaseListener
并重写了对应的enter、exit方法,在其中完成字符映射
public class ShortToUnicodeString extends ArrayInitBaseListener {
/** 将 { 映射为 " */
@Override
public void enterInit(ArrayInitParser.InitContext ctx) {
System.out.print('"');
}
/** 将 } 映射为 " */
@Override
public void exitInit(ArrayInitParser.InitContext ctx) {
System.out.print('"');
}
/** 将整形数字映射为16进制字符串 */
@Override
public void enterValue(ArrayInitParser.ValueContext ctx) {
// Assumes no nested array initializers
int value = Integer.valueOf(ctx.INT().getText());
System.out.printf("\\u%04x", value);
}
}
接着实现主函数文件Translate.java用于从标准输入读入输入数据,构建语法分析树,进行遍历并处罚监听器的回调函数完成转换
//引入ANTLR运行依赖库
import org.antlr.v4.runtime.*;
import org.antlr.v4.runtime.tree.*;
public class Test {
public static void main(String[] args) throws Exception {
ANTLRInputStream input = new ANTLRInputStream(System.in); // 通过CharStream从标准输入读入数据
ArrayInitLexer lexer = new ArrayInitLexer(input); //词法分析器对输入进行处理
CommonTokenStream tokens = new CommonTokenStream(lexer); //将词法分析器产生的词法符号放到缓冲区
ArrayInitParser parser = new ArrayInitParser(tokens); //将词法符号送入语法分析器
ParseTree tree = parser.init(); //从init规则开始进行语法分析
ParseTreeWalker walker = new ParseTreeWalker(); //创建分析树的遍历器
walker.walk(new ShortToUnicodeString(), tree); //遍历语法分析树,触发监听器的回调函数完成转换
System.out.println();
}
}
接下来对Translate及相关Java程序进行编译然后运行,输出如下,可以看到完成了从short数组到字符串的转换
D:\Code\antlr\demo\chapter3>javac *.java
D:\Code\antlr\demo\chapter3>java Translate
{99,100,101}
^Z
"\u0063\u0064\u0065"
例子:使用监听器抽取Java方法
实现一个语法文件解析器,从Java类文件中,抽取方法并生成对应的接口定义
public class Demo {
void f(int x, String y) { }
int[ ] g(/*no args*/) { return null; }
List<Map<String, Integer>>[] h() { return null; }
}
interface IDemo {
void f(int x, String y);
int[ ] g(/*no args*/);
List<Map<String, Integer>>[] h();
}
首先Java的语法文件部分定义如下
classDeclaration
: 'class' Identifier typeParameters? ('extends' type)?
('implements' typeList)?
classBody
;
methodDeclaration
: type Identifier formalParameters ('[' ']')* methodDeclarationRest
| 'void' Identifier formalParameters methodDeclarationRest
;
通过使用监听器对生成的语法树进行遍历时,我们可以监听其中类定义和方法定义,例如当enterClassDeclaration()
触发时,代表遍历到了类节点,此时打印相关的类信息,同理输出方法信息,完成遍历后就生成了对应的接口方法
public class ExtractInterfaceListener extends JavaBaseListener {
JavaParser parser;
public ExtractInterfaceListener(JavaParser parser) {this.parser = parser;}
/** 监听对类定义的匹配 */
@Override
public void enterClassDeclaration(JavaParser.ClassDeclarationContext ctx){
System.out.println("interface I"+ctx.Identifier()+" {");
}
@Override
public void exitClassDeclaration(JavaParser.ClassDeclarationContext ctx) {
System.out.println("}");
}
/** 监听对方法定义的匹配 */
@Override
public void enterMethodDeclaration(
JavaParser.MethodDeclarationContext ctx
)
{
TokenStream tokens = parser.getTokenStream(); //获取词法分析器,进而获取相关信息
String type = "void";
if ( ctx.type()!=null ) {
type = tokens.getText(ctx.type());
}
String args = tokens.getText(ctx.formalParameters()); //获取方法参数列表
System.out.println("\t"+type+" "+ctx.Identifier()+args+";");
}
}