使用ANTLR和Java创建外部DSL

以前的一段时间里,我曾写过有关使用Java的内部DSL的文章。 在Martin Fowler撰写的《 领域特定语言 》一书中,他讨论了另一种称为外部DSL的DSL,其中DSL是用另一种语言编写的,然后由宿主语言进行解析以填充语义模型。

前面的示例中,我讨论了有关创建用于定义图形的DSL的问题。 使用外部dsl的优点是,图形数据中的任何更改都不需要重新编译程序,而是程序可以仅加载外部dsl,创建解析树然后填充语义模型。 语义模型将保持不变,并且使用语义模型的优点是无需更改语义模型即可对DSL进行修改。 在内部DSL和外部DSL之间的示例中,我没有修改语义模型。 为了创建外部DSL,我使用了ANTLR

什么是ANTLR?

官方网站上给出的定义是:

ANTLR(另一种语言识别工具)是功能强大的解析器生成器,用于读取,处理,执行或翻译结构化文本或二进制文件。 它被广泛用于构建语言,工具和框架。 ANTLR通过语法生成可以构建和遍历语法树的语法分析器。

根据以上定义,ANTLR的显着特征是:

  • 用于结构化文本或二进制文件的解析器生成器
  • 可以建造和行走解析树

语义模型

在此示例中,我将利用ANTLR的上述功能来解析DSL,然后遍历解析树以填充语义模型。 概括地说,语义模型由GraphEdgeVertex类组成,它们分别表示Graph和Graph的Edge和Vertex。 下面的代码显示了类定义:

public class Graph {

  private List<Edge> edges;
  private Set<Vertex> vertices;

  public Graph() {
    edges = new ArrayList<>();
    vertices = new TreeSet<>();
  }
  public void addEdge(Edge edge){
    getEdges().add(edge);
    getVertices().add(edge.getFromVertex());
    getVertices().add(edge.getToVertex());
  }

  public void addVertice(Vertex v){
    getVertices().add(v);
  }

  public List<Edge> getEdges() {
    return edges;
  }

  public Set<Vertex> getVertices() {
    return vertices;
  }

  public static void printGraph(Graph g){
    System.out.println("Vertices...");
    for (Vertex v : g.getVertices()) {
      System.out.print(v.getLabel() + " ");
    }
    System.out.println("");
    System.out.println("Edges...");
    for (Edge e : g.getEdges()) {
      System.out.println(e);
    }
  }

}

public class Edge {

  private Vertex fromVertex;
  private Vertex toVertex;
  private Double weight;

  public Edge() {
  }

  public Edge(Vertex fromVertex, 
          Vertex toVertex, 
          Double weight) {
    this.fromVertex = fromVertex;
    this.toVertex = toVertex;
    this.weight = weight;
  }

  @Override
  public String toString() {
    return fromVertex.getLabel() + 
            " to " + toVertex.getLabel() + 
            " with weight " + getWeight();
  }

  public Vertex getFromVertex() {
    return fromVertex;
  }

  public void setFromVertex(Vertex fromVertex) {
    this.fromVertex = fromVertex;
  }

  public Vertex getToVertex() {
    return toVertex;
  }

  public void setToVertex(Vertex toVertex) {
    this.toVertex = toVertex;
  }

  public Double getWeight() {
    return weight;
  }

  public void setWeight(Double weight) {
    this.weight = weight;
  }
}

public class Vertex implements Comparable<Vertex> {
  private String label;

  public Vertex(String label) {
    this.label = label.toUpperCase();
  }

  @Override
  public int compareTo(Vertex o) {
    return (this.getLabel().compareTo(o.getLabel()));
  }

  public String getLabel() {
    return label;
  }

  public void setLabel(String label) {
    this.label = label;
  }
}

创建DSL

在创建语法规则之前,让我们先提出语言的结构。 我打算提出的结构是这样的:

Graph {
  A -> B (10)
  B -> C (20)
  D -> E (30)
}

Graph块中的每条线代表一条边,该边所涉及的顶点以及大括号中的值代表该边的权重。 我要强制执行的一个限制是,图不能具有悬空的顶点,即不属于任何边线的顶点。 可以通过稍微改变语法来消除此限制,但是我将其作为练习留给本文的读者。

创建DSL的首要任务是定义语法规则。 这些是您的词法分析器解析器用来将DSL转换为抽象语法树 / 解析树的规则

然后,ANTLR利用此语法生成解析器,Lexer和侦听器,它们不过是Java类,用于扩展/实现ANTLR库中的某些类。 DSL的创建者必须利用这些Java类来加载外部DSL,对其进行解析,然后在解析器遇到某些节点时使用侦听器填充语义模型(将其视为XMLSAX解析器的变体)。

现在,我们已经非常简短地了解了ANTLR可以做什么以及使用ANTLR的步骤,我们将必须设置ANTLR,即下载ANTLR API jar并设置一些脚本来生成解析器和词法分析器,然后通过命令行尝试该语言。工具。 对于请访问这个从ANTLR官方教程,显示了如何设置ANTLR和一个简单的Hello World例子。

DSL语法

现在您已经设置了ANTLR,让我深入了解DSL的语法:

grammar Graph;
graph: 'Graph {' edge+ '}';
vertex: ID;
edge: vertex '->' vertex '(' NUM ')' ;
ID: [a-zA-Z]+;
NUM: [0-9]+;
WS: [ \t\r\n]+ -> skip;

让我们通过以下规则:

graph: 'Graph {' edge+ '}';

上面的语法规则(即开始规则)说,该语言应以“ Graph {”开头,以“}”结尾,并且必须至少包含一个边或多个边。

vertex: ID;
edge: vertex '->' vertex '(' NUM ')' ;
ID: [a-zA-Z]+;
NUM: [0-9]+;

以上四个规则说一个顶点至少应具有一个字符或多个字符。 边定义为两个顶点的集合,两个顶点之间用“->”分隔,并且在“()”中包含一些数字。

我将语法语言命名为“ Graph”,因此一旦使用ANTLR生成Java类(即解析器和词法分析器),我们最终将看到以下类:GraphParser,GraphLexer,GraphListener和GraphBaseListener。 前两个类处理解析树的生成,后两个类处理解析树的遍历。 GraphListener是一个接口,其中包含用于处理解析树的所有方法,即处理事件(例如,输入规则,退出规则,访问终端节点),此外,还包含用于处理与输入图相关的事件的方法规则,输入边缘规则并输入顶点规则。 我们将利用这些方法来拦截dsl中存在的数据,然后填充语义模型。

填充语义模型

我在资源包中创建了一个文件graph.gr,其中包含用于填充图形的DSL。 由于资源包中的文件在运行时可供ClassLoader使用,因此我们可以使用ClassLoader读取DSL脚本,然后将其传递给Lexer和解析器类。 使用的DSL脚本是:

Graph {
  A -> B (10)
  B -> C (20)
  D -> E (30)
  A -> E (12)
  B -> D (8)
}

以及加载DSL并填充语义模型的代码:

//Please resolve the imports for the classes used.
public class GraphDslAntlrSample {
  public static void main(String[] args) throws IOException {
    //Reading the DSL script
    InputStream is = 
            ClassLoader.getSystemResourceAsStream("resources/graph.gr");

    //Loading the DSL script into the ANTLR stream.
    CharStream cs = new ANTLRInputStream(is);

    //Passing the input to the lexer to create tokens
    GraphLexer lexer = new GraphLexer(cs);

    CommonTokenStream tokens = new CommonTokenStream(lexer);

    //Passing the tokens to the parser to create the parse trea. 
    GraphParser parser = new GraphParser(tokens);

    //Semantic model to be populated
    Graph g = new Graph();

    //Adding the listener to facilitate walking through parse tree. 
    parser.addParseListener(new MyGraphBaseListener(g));

    //invoking the parser. 
    parser.graph();

    Graph.printGraph(g);
  }
}

/**
 * Listener used for walking through the parse tree.
 */
class MyGraphBaseListener extends GraphBaseListener {

  Graph g;

  public MyGraphBaseListener(Graph g) {
    this.g = g;
  }

  @Override
  public void exitEdge(GraphParser.EdgeContext ctx) {
    //Once the edge rule is exited the data required for the edge i.e 
    //vertices and the weight would be available in the EdgeContext
    //and the same can be used to populate the semantic model
    Vertex fromVertex = new Vertex(ctx.vertex(0).ID().getText());
    Vertex toVertex = new Vertex(ctx.vertex(1).ID().getText());
    double weight = Double.parseDouble(ctx.NUM().getText());
    Edge e = new Edge(fromVertex, toVertex, weight);
    g.addEdge(e);
  }
}

执行上述操作时的输出为:

Vertices...
A B C D E 
Edges...
A to B with weight 10.0
B to C with weight 20.0
D to E with weight 30.0
A to E with weight 12.0
B to D with weight 8.0

总而言之,本文创建了一个外部DSL,用于通过使用ANTLR填充图形数据。 我将增强这种简单的DSL,并将其公开为实用程序,供从事图形工作的程序员使用。

这篇文章非常讲究概念和代码,您可以随意提出任何疑问,以便我也可以尝试解决这些问题,以使他人受益。

参考:来自Experiences Unlimited博客的JCG合作伙伴 Mohamed Sanaulla 使用ANTLR和Java创建外部DSL

翻译自: https://www.javacodegeeks.com/2013/07/creating-external-dsls-using-antlr-and-java.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值