使用Calcite做Sql语法解析

 

Flink SQL中使用Calcite作为sql语法解析、校验、优化工具，本篇是实操篇，介绍一下calcite做sql语法解析使用方式。

sql经过calcite解析之后，得到一棵抽象语法树，也就是我们说的AST，这棵语法树是由不同的节点组成，节点称之为SqlNode，根据不同类型的dml、ddl得到不同的类型的SqlNode，例如select语句转换为SqlSelect，delete语句转换为SqlDelete，join语句转换为SqlJoin。

使用方式：

SqlParser.Config config = SqlParser.configBuilder()
         .setLex(Lex.MYSQL) //使用mysql 语法
         .build();
//SqlParser 语法解析器         
SqlParser sqlParser = SqlParser
       .create("select id,name,age FROM stu where age<20", config);
SqlNode sqlNode = null;
try {
   sqlNode = sqlParser.parseStmt();
} catch (SqlParseException e) {
  throw new RuntimeException("", e);
}
这里解析了一个select的语句，那么得到的sqlNode就是一个SqlSelect。

if(SqlKind.SELECT.equals(sqlNode.getKind())){
 
 
   SqlSelect sqlSelect = (SqlSelect) sqlNode;
   SqlNode from=sqlSelect.getFrom();
   SqlNode where=sqlSelect.getWhere();
   SqlNodeList selectList=sqlSelect.getSelectList();
   //标识符
   if(SqlKind.IDENTIFIER.equals(from.getKind())){
       System.out.println(from.toString());
    }
 
 
    if(SqlKind.LESS_THAN.equals(where.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)where;
        for(SqlNode sqlNode1: sqlBasicCall.operands){
          if(SqlKind.LITERAL.equals(sqlNode1.getKind())){
              System.out.println(sqlNode1.toString());
            }
          }
       }
 
 
    selectList.getList().forEach(x->{
      if(SqlKind.IDENTIFIER.equals(x.getKind())){
          System.out.println(x.toString());
         }
     });
 }
一个select语句包含from部分、where部分、select部分等，每一部分都表示一个SqlNode。SqlKind是一个枚举类型，包含了各种SqlNode类型：SqlSelect、SqlIdentifier、SqlLiteral等。SqlIdentifier表示标识符，例如表名称、字段名；SqlLiteral表示字面常量，一些具体的数字、字符。

SqlBasicCall对比SqlSelect/SqlDelete而言，可以理解为表示的是一些基本的、简单的调用，例如聚合函数、比较函数等，接下来看一下其如何解析sum操作：

select sum(amount) FROM orders //解析的sql
//解析select部分
selectList.getList().forEach(x->{
    if(SqlKind.SUM.equals(x.getKind())){
      SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
      System.out.println(sqlBasicCall.operands[0]);
   }
 });
其内部主要就是operands，也是SqlNode节点，但是都是一些基本的SqlNode，例如SqlIdentifier、SqlLiteral。

SqlSelect/SqlDelete/SqlBasicCall 都称之为SqlCall，差别是SqlSelect是复杂的SqlCall,内部可以包含其他节点，而SqlBasicCall表示简单的SqlCall。另外两种SqlNode:SqlDataTypeSpec与SqlNodeList，SqlDataTypeSpec代表数据类型节点，例如CHAR/VARCHAR/DOUBLE， SqlNodeList表示包含多个同级别的SqlNode，在上面select中已经展示过，看下SqlDataTypeSpec使用实例：

select cast(amount as CHAR) FROM orders//解析的sql
//解析select部分
selectList.getList().forEach(x->{
   if(SqlKind.CAST.equals(x.getKind())){
        SqlBasicCall sqlBasicCall=(SqlBasicCall)x;
        System.out.println(sqlBasicCall.operands[0]); //amount
        SqlDataTypeSpec charType=(SqlDataTypeSpec)sqlBasicCall.operands[1];
        System.out.println(charType.getTypeName()); //CHAR
  }
});
另外一种节点SqlOperator，可以代表函数、运算符、语法(select)结构，例如sum解析为SqlAggFunction、select解析为SqlSelectOperator，as 作为SqlAsOperator。SqlOperator是被嵌入在SqlNode中，作为其属性，通过SqlOperator的createCall方法可以创建对应的SqlNode，使用方式：

SqlOperator operator = new SqlAsOperator();
SqlParserPos sqlParserPos = new SqlParserPos(1, 1);
SqlIdentifier name = new SqlIdentifier("orders", null, sqlParserPos);
SqlIdentifier alias = new SqlIdentifier("o", null, sqlParserPos);
SqlNode[] sqlNodes = new SqlNode[2];
sqlNodes[0] = name;
sqlNodes[1] = alias;
SqlBasicCall sqlBasicCall = (SqlBasicCall)operator.createCall(sqlParserPos,sqlNodes);
System.out.println(sqlBasicCall); //得到的就是 Order as o
SqlParsePos表示对应解析的节点在sql位置，起止行与起止列。

以上介绍了一下calcite解析sql的简单使用方式，我们可以使用Calcite来做血缘分析、flink sql维表关联等。