【源码分析】 Calcite 处理流程详解：calcite架构、处理流程以及就一个运行示例进行源码分析

已于 2024-01-05 10:33:37 修改
阅读量2k 收藏 25
点赞数 32
分类专栏： # flink源码 文章标签： apache calcite
于 2024-01-04 22:16:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hiliang521/article/details/135251309
版权

文章目录

本文主要描述

  1. calcite的整体架构
  2. calcite具体地处理流程，并通过demo debug源码解释说明
     

了解calcite，主要为了了解

  1. flink利用calcite对sql从逻辑执行计划到物理执行计划的转换逻辑
  2. flink sql connector在这个过程中起到的作用，涉及到的逻辑是什么

等原理打基础。

 

Apache Calcite是一个动态的数据管理框架, 它可以实现SQL的解析, 验证, 优化和执行。

称之为”动态”是因为Calcite是模块化和插件式的, 上述任何一个步骤在Calcite中都对应着一个相对独立的模块。用户可以选择使用其中的一个或多个模块, 也可以对任意模块进行定制化的扩展。
 
正是这种灵活性使得Calcite可以在现有的存储或计算系统上方便地构建SQL访问层, 甚至在已有SQL能力的系统中也可引入Calcite中的某个模块实现相应的功能, 比如Apche Hive就仅使用了Calcite进行优化, 但却有自己的SQL解析器。

Calcite的这种特性使其在大数据系统中得到了广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite, 因此理解Calcite的原理已经成为理解大数据系统中SQL访问层实现原理的必备条件。

 

一. Calcite整体架构

Calcite的整体架构与交互如下图(Calcite论文)：

  • JDBC接口: 用于使用标准的JDBC接口访问Calcite获取数据, 为了提供JDBC/ODBC接口，Calcite构建了一个独立的Avatica框架。
  • SQL Parser和SQL Validator: 用于进行SQL的解析和验证, 将原始的SQL字符串解析并转化为内部的SqlNode树（即AST）表示。
  • Query Optimizer: 用于进行查询优化，查询优化是在关系代数的基础上进行的。
    在Calcite内部有一种关系代数表示方法, 即：将关系代数表示为RelNode树.
    RelNode树可由SqlNode树转化而来, 也可通过Expressions Builder接口构建.
  • Enumerator执行计划: Calcite提供了一种将优化后的RelNode树生成为Enumerator执行计划的方法。Calcite的一些Adapter使用了Enumerator执行计划.

在这里插入图片描述

 

Calcite省略了一些关键的组成部分, 例如, 数据的存储, 处理数据的算法和存储元数据的存储库。
Calcite的目的是仅提供构建SQL访问的框架，这也是其广泛适用的原因。这种省略带来的另一个好处是, 使用Calcite可以十分方便地构建联邦查询引擎, 即屏蔽底层物理存储和计算引擎, 使用一个统一的SQL接口实现数据访问。

 

二. Calcite处理流程

Calcite的完整处理流程实际上就是SQL的解析， 优化与执行流程，如下：
在这里插入图片描述

Calcite的处理流程主要分为5个阶段:

  1. Parser用于解析SQL, 将输入的SQL字符串转化为抽象语法树(AST), Calcite中用SqlNode树表示.
  2. Validator根据元数据信息对SqlNode树进行验证, 其输出仍是SqlNode树.
  3. Converter将SqlNode树转化为关系代数, 以方便进一步优化, Calcite中使用RelNode树表示关系代数.
  4. Optimizer对输入的关系代数进行优化, 输出优化后的RelNode树.
  5. Execute阶段会根据优化后的RelNode生成执行计划，在Calcite中内置了一种基于Enumerator的执行计划生成方法。

Enumerator 是用于执行查询计划的接口，通常与可枚举（Enumerable）执行模型一起使用。可枚举执行模型是一种将关系代数计划转换为可执行的迭代式 Java 代码的模型。
 
在执行计划的过程中，关系代数计划首先被转换为可枚举的关系表达式（EnumerableRel），然后 EnumerableInterpreter 将这些表达式转换为可执行的 Java 代码。最后，Enumerator 接口的实现负责执行这些 Java 代码，并生成查询结果。

 

三. 处理流程样例说明

 

1. 样例demo

1.1. 样例数据

在这里插入图片描述

 

1.2. 使用calcite

parse sql, validate, transform to relation expression and execute with a Planner

package com.gerardnico.calcite;

import com.gerardnico.calcite.schema.hr.HrSchemaMin;
import org.apache.calcite.adapter.java.ReflectiveSchema;
import org.apache.calcite.plan.hep.HepPlanner;
import org.apache.calcite.plan.hep.HepProgramBuilder;
import org.apache.calcite.rel.RelNode;
import org.apache.calcite.rel.RelRoot;
import org.apache.calcite.rel.RelWriter;
import org.apache.calcite.rel.externalize.RelWriterImpl;
import org.apache.calcite.rel.rules.FilterJoinRule;
import org.apache.calcite.schema.SchemaPlus;
import org.apache.calcite.sql.SqlExplainLevel;
import org.apache.calcite.sql.SqlNode;
import org.apache.calcite.sql.dialect.OracleSqlDialect;
import org.apache.calcite.sql.parser.SqlParseException;
import org.apache.calcite.sql.parser.SqlParser;
import org.apache.calcite.tools.*;
import org.junit.Test;

import java.io.PrintWriter;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

/**
 * This is class that demonstrate the query process planning:
 *   * parse
 *   * validate
 *   * convert to a query plan
 *   * execute.
 * See <a href="https://gerardnico.com/db/calcite/query_planning#example">Query planning process example for more info</a>
 */
public class CalciteFrameworksTest {



    @Test
    public void parseValidateAndLogicalPlanTest() throws SqlParseException, RelConversionException, ValidationException, SQLException {

        // Build the schema
        SchemaPlus rootSchema = Frameworks.createRootSchema(true);
        ReflectiveSchema schema = new ReflectiveSchema(new HrSchemaMin());
        SchemaPlus hr = rootSchema.add("HR", schema);

        // Get a non-sensitive parser
        SqlParser.Config insensitiveParser = SqlParser.configBuilder()
                .setCaseSensitive(false)
                .build();

        // Build a global configuration object
        FrameworkConfig config = Frameworks.newConfigBuilder()
                .parserConfig(insensitiveParser)
                .defaultSchema(hr)
                .build();

        // Get the planner tool
        Planner planner = Frameworks.getPlanner(config);

        // Parse the sql to a tree
        SqlNode sqlNode = planner.parse("select depts.name, count(emps.empid) from emps inner join depts on emps.deptno = depts.deptno where emps.empid >5  group by depts.deptno, depts.name order by depts.name");

        // Print it
        System.out.println(sqlNode.toSqlString(OracleSqlDialect.DEFAULT));

        // Validate the tree
        SqlNode sqlNodeValidated = planner.validate(sqlNode);

        // Convert the sql tree to a relation expression
        RelRoot relRoot = planner.rel(sqlNodeValidated);


        // Explain, print the relational expression
        RelNode relNode = relRoot.project();
        final RelWriter relWriter = new RelWriterImpl(new PrintWriter(System.out), SqlExplainLevel.EXPPLAN_ATTRIBUTES, false);
//        relNode.explain(relWriter);


        //add HepProgram 
        HepProgramBuilder builder = new HepProgramBuilder();
        builder.addRuleInstance(FilterJoinRule.FilterIntoJoinRule.FILTER_ON_JOIN); //note: 添加 rule
        HepPlanner hepPlanner = new HepPlanner(builder.build());
        hepPlanner.setRoot(relNode);
        relNode = hepPlanner.findBestExp();
        relNode.explain(relWriter);

        // Run it
        PreparedStatement run = RelRunners.run(relNode);
        ResultSet resultSet = run.executeQuery();

        // Print it
        System.out.println("Result:");
        while (resultSet.next()) {
            for (int i = 1; i <= resultSet.getMetaData().getColumnCount(); i++) {
                System.out.print(resultSet.getObject(i)+",");
            }
            System.out.println();
        }

    }
}

 

2. 流程源码分析

Step1: SQL 解析阶段（SQL–>SqlNode）

//1.  Parse the sql to a tree  ：AST
SqlNode sqlNode = 
	planner.parse("select depts.name, count(emps.empid) from emps inner join depts on emps.deptno = depts.deptno " +
    "where emps.empid >5  " +
    "group by depts.deptno, depts.name order by depts.name");


org.apache.calcite.prepare.PlannerImpl#parse
// reader中包含：待解析的sql
public SqlNode parse(final Reader reader) throws SqlParseException {  
... 
  //创建解析器
  SqlParser parser = SqlParser.create(reader, parserConfig);  
  //进行解析
  SqlNode sqlNode = parser.parseStmt();  
  state = State.STATE_3_PARSED;  
  return sqlNode;  
}

基本原理：

使用 JavaCC + Parser.jj 将SQL 转换为 AST：

Calcite 使用 JavaCC 做 SQL 解析，JavaCC 根据 Calcite 中定义的 Parser.jj 文件，生成一系列的 java 代码，生成的 Java 代码会把 SQL 转换成 AST 的数据结构（即 SqlNode ）。

Javacc 这里要实现一个 SQL Parser，它的功能有以下两个，这里都是需要在 jj 文件中定义的。

  1. 设计词法和语义，定义 SQL 中具体的元素；
  2. 实现词法分析器（Lexer）和语法分析器（Parser），完成对 SQL 的解析，完成相应的转换。

 

1.创建解析器：

org.apache.calcite.prepare.PlannerImpl

  public SqlNode parse(final Reader reader) throws SqlParseException {
    switch (state) {
    case STATE_0_CLOSED:
    case STATE_1_RESET:
      ready();
    }
    ensure(State.STATE_2_READY);
    SqlParser parser = SqlParser.create(reader, parserConfig);
    SqlNode sqlNode = parser.parseStmt();
    state = State.STATE_3_PARSED;
    return sqlNode;
  }

parser 指的是 SqlParserImpl 类（SqlParser.Config.DEFAULT 指定的），它是由 JJ 文件生成的解析类，具体解析逻辑还是要看 JJ 文件中的定义。
 

2.将sql解析为AST（sqlNode）

SqlNode sqlNode = parser.parseStmt();

org.apache.calcite.sql.parser#SqlParser
public SqlNode parseQuery() throws SqlParseException {  
 ...
    return parser.parseSqlStmtEof();  
 ... 
}
/**  
 * Parses an SQL statement followed by the end-of-file symbol.  
 * 解析SQL语句(后面有文件结束符号)  
 */ 
final public SqlNode SqlStmtEof() throws ParseException {  
  SqlNode stmt;  
  stmt = SqlStmt();  
  jj_consume_token(0);  
      {if (true) return stmt;}  
  throw new Error("Missing return statement in function");  
}

 //note: 解析 SQL statement  
final public SqlNode SqlStmt() throws ParseException {  
  SqlNode stmt;  
  switch ((jj_ntk==-1)?jj_ntk():jj_ntk) {
  ...
	  case UNICODE_QUOTED_IDENTIFIER:  
	  stmt = OrderedQueryOrExpr(ExprContext.ACCEPT_QUERY);  
	  break;
 ...
  }  
 ...
}

示例中 SQL 经过前面的解析之后，会生成一个 SqlNode，这个 SqlNode 是一个 SqlOrder 类型，如下debug：
在这里插入图片描述

 

Step2: SqlNode 验证（SqlNode–>SqlNode）

生成的 SqlNode 对象是一个未经验证的抽象语法树，下面就进入了一个语法检查阶段，语法检查前需要知道元数据信息，这个检查会包括表名、字段名、函数名、数据类型的检查。

demo代码


//2. Validate： the tree  
SqlNode sqlNodeValidated = planner.validate(sqlNode);

 
源码

org.apache.calcite.prepare.PlannerImpl

public SqlNode validate(SqlNode sqlNode) throws ValidationException {  
  // 状态检查
  ensure(State.STATE_3_PARSED);  
  //构建检查器：
  //createCatalogReader实例：用于封装元数据，以及获取元数据的方法
  this.validator = createSqlValidator(createCatalogReader());  
。。。
   //检查
    validatedSqlNode = validator.validate(sqlNode);  
。。。
  //更新状态
  state = State.STATE_4_VALIDATED;  
  return validatedSqlNode;  
}

校验逻辑总体有如下步骤：

  1. 元数据封装到 CatalogReader 对象，以便能够通过对象方法获取到元数据。
  2. 创建SqlValidator对象，提供检验能力。
  3. 进行校验。

 

1. 注册元数据

Calcite 本身是不管理和存储元数据的，在检查之前，需要先把元信息注册到 Calcite 中，本例是通过ReflectiveSchema 注册元数据

demo代码

// Build the schema  
SchemaPlus rootSchema = Frameworks.createRootSchema(true);  
//将HrSchemaMin对象封装为schema。
ReflectiveSchema schema = new ReflectiveSchema(new HrSchemaMin()); 
// 将schema注册为HR
SchemaPlus hr = rootSchema.add("HR", schema);

ReflectiveSchema通过反射的原理获取表的字段、表名等信息


//父类：
org.apache.calcite.schema.impl.AbstractSchema


protected Map<String, Table> getTableMap() {  
  return ImmutableMap.of();  
}  
  
public final Set<String> getTableNames() {  
  return getTableMap().keySet();  
}  
  
public final Table getTable(String name) {  
  return getTableMap().get(name);  
}



//ReflectiveSchema 实现类
org.apache.calcite.adapter.java.ReflectiveSchema
...
private Map<String, Table> createTableMap() {  
  final ImmutableMap.Builder<String, Table> builder = ImmutableMap.builder();
  //字段映射  
  for (Field field : clazz.getFields()) {  
    final String fieldName = field.getName();  
    final Table table = fieldRelation(field);  
    if (table == null) {  
      continue;  
    }  
    builder.put(fieldName, table);  
  }  
  Map<String, Table> tableMap = builder.build();  
  。。。  
  return tableMap;  
}

 

2. 语法检查验证

语法检查验证是通过 SqlValidatorImpl 的 validate() 方法进行操作的，其实现如下：

org.apache.calcite.sql.validate.SqlValidatorImpl

public SqlNode validate(SqlNode topNode) {  
  SqlValidatorScope scope = new EmptyScope(this);  
  scope = new CatalogScope(scope, ImmutableList.of("CATALOG"));  
  final SqlNode topNode2 = validateScopedExpression(topNode, scope);  
  final RelDataType type = getValidatedNodeType(topNode2);  
  Util.discard(type);  
  return topNode2;  
}

主要的实现是在 validateScopedExpression() 方法中，其实现如下

private SqlNode validateScopedExpression(  
    SqlNode topNode,  
    SqlValidatorScope scope) {  
  //note: 1. rewrite expression，将其标准化，便于后面的逻辑计划优化  
  SqlNode outermostNode = performUnconditionalRewrites(topNode, false);  
  cursorSet.add(outermostNode);  
  top = outermostNode;  
  TRACER.trace("After unconditional rewrite: {}", outermostNode);  
  //note: 2. Registers a query in a parent scope.  
  //note: register scopes and namespaces implied a relational expression  
  if (outermostNode.isA(SqlKind.TOP_LEVEL)) {  
    registerQuery(scope, null, outermostNode, outermostNode, null, false);  
  }  
  //note: 3. catalog 验证，调用 SqlNode 的 validate 方法，  
  outermostNode.validate(this, scope);  
  if (!outermostNode.isA(SqlKind.TOP_LEVEL)) {  
    // force type derivation so that we can provide it to the  
    // caller later without needing the scope  
    deriveType(scope, outermostNode);  
  }  
  TRACER.trace("After validation: {}", outermostNode);  
  return outermostNode;  
}

它的处理逻辑主要分为三步：

  1. rewrite expression，将其标准化，便于后面的逻辑计划优化；
  2. 注册 relational expression 的 scopes 和 namespaces（这两个对象代表了其元信息）；
  3. 进行相应的验证，这里会依赖第二步注册的 scopes 和 namespaces 信息。

 

3. registerQuery

这里的功能主要就是将元数据转换成 SqlValidator 内部的对象进行表示，也就是 SqlValidatorScope 和 SqlValidatorNamespace 两种类型的对象：

  1. SqlValidatorNamespace：a description of a data source used in a query，它代表了 SQL 查询的数据源，它是一个逻辑上数据源，可以是一张表，也可以是一个子查询；
  2. SqlValidatorScope：describes the tables and columns accessible at a particular point in the query，代表了在某一个程序运行点，当前可见的字段名和表名。

 

4. validate 验证

接着回到最复杂的一步，就是 outermostNode 实例调用 validate(this, scope) 方法进行验证的部分，对于此示例，这里最后调用的是 SqlSelect 的 validate() 方法，如下所示：

SqlSelect
在这里插入图片描述

public void validate(SqlValidator validator, SqlValidatorScope scope) {  
  validator.validateQuery(this, scope, validator.getUnknownType());  
}

它调用的是 SqlValidatorImpl 的 validateQuery() 方法

public void validateQuery(SqlNode node, SqlValidatorScope scope,  
    RelDataType targetRowType) {  
  final SqlValidatorNamespace ns = getNamespace(node, scope);  
... 
  //验证Namespace
  validateNamespace(ns, targetRowType);  
。。。
  //验证Modality
  if (node == top) {  
    validateModality(node);  
  } 
  //validateAccess
  validateAccess(  
      node,  
      ns.getTable(),  
      SqlAccessEnum.SELECT);  
  //validateSnapshot
  validateSnapshot(node, scope, ns);  
}

最后验证方法的实现是 SqlValidatorImpl 的 validateSelect() 方法，其调用过程如下图所示：

在这里插入图片描述

 

Step3: 转换为关系代数表达式（SqlNode–>RelNode/RexNode）

接下来这一步就是将 SqlNode 转换成 RelNode/RexNode，也就是生成相应的逻辑计划（Logical Plan），demo实例如下：

// Convert the sql tree to a relation expression  
RelRoot relRoot = planner.rel(sqlNodeValidated);

具体源码步骤：


org.apache.calcite.prepare.PlannerImpl

public RelRoot rel(SqlNode sql) throws RelConversionException {  
  ensure(State.STATE_4_VALIDATED);  
  assert validatedSqlNode != null;  
  //1. 初始化rexBuilder
  final RexBuilder rexBuilder = createRexBuilder();
  //2. 初始化 RelOptCluster
  final RelOptCluster cluster = RelOptCluster.create(planner, rexBuilder); 

  //3. 初始化 sqlToRelConverter
  final SqlToRelConverter.Config config = SqlToRelConverter.configBuilder()  
      .withConfig(sqlToRelConverterConfig)  
      .withTrimUnusedFields(false)  
      .build();  

  final SqlToRelConverter sqlToRelConverter =  
      new SqlToRelConverter(this, validator,  
          createCatalogReader(), cluster, convertletTable, config); 
    //4. 进行转换 
  root =  
      sqlToRelConverter.convertQuery(validatedSqlNode, false, true);  
  root = root.withRel(sqlToRelConverter.flattenTypes(root.rel, true)); 
  final RelBuilder relBuilder =  
      config.getRelBuilderFactory().create(cluster, null);  
  root = root.withRel(  
      RelDecorrelator.decorrelateQuery(root.rel, relBuilder));  
  state = State.STATE_5_CONVERTED;  
  return root;  
}

主要的逻辑在于

   //4. 进行转换 
  root =  
      sqlToRelConverter.convertQuery(validatedSqlNode, false, true);

SqlToRelConverter 中的 convertQuery() 将 SqlNode 转换为 RelRoot，其实现如下：


org.apache.calcite.sql2rel.SqlToRelConverter

public RelRoot convertQuery(  
    SqlNode query,  
    final boolean needsValidation,  
    final boolean top) {  
...
  // 转换为RelNode(relational expression)
  RelNode result = convertQueryRecursive(query, top, null).rel;  
 。。。
 //对转换前后的 RelDataType 做验证
  checkConvertedType(query, result);  
  
...

  return RelRoot.of(result, validatedRowType, query.getKind())  
      .withCollation(collation)  
      .withHints(hints);  
}

主要转换逻辑

org.apache.calcite.sql2rel.SqlToRelConverter

protected RelRoot convertQueryRecursive(SqlNode query, boolean top,  
    RelDataType targetRowType) {  
  final SqlKind kind = query.getKind();  
  switch (kind) {  
  case SELECT:  
    return RelRoot.of(convertSelect((SqlSelect) query, top), kind);  
  case INSERT:  
    return RelRoot.of(convertInsert((SqlInsert) query), kind);  
....
    throw new AssertionError("not a query: " + query);  
  }  
}

调用

  case SELECT:  
    return RelRoot.of(convertSelect((SqlSelect) query, top), kind);  

// 将一个 Select parse tree 转换成一个关系表达式  
public RelNode convertSelect(SqlSelect select, boolean top) {  
  final SqlValidatorScope selectScope = validator.getWhereScope(select);  
  final Blackboard bb = createBlackboard(selectScope, null, top);  
  convertSelectImpl(bb, select);//note: 做相应的转换  
  return bb.root;  
}

这部分方法调用过程是：

convertQuery -->  
convertQueryRecursive -->  
convertSelect -->  
convertSelectImpl -->  
convertFrom & convertWhere & convertSelectList

到这里 SqlNode 到 RelNode 过程就完成了，调用如下代码打印逻辑计划：

// Explain, print the relational expression  
RelNode relNode = relRoot.project();  
final RelWriter relWriter = new RelWriterImpl(new PrintWriter(System.out), SqlExplainLevel.EXPPLAN_ATTRIBUTES, false);  
relNode.explain(relWriter);


LogicalSort(sort0=[$0], dir0=[ASC])
  LogicalProject(NAME=[$1], EXPR$1=[$2])
    LogicalAggregate(group=[{0, 1}], EXPR$1=[COUNT()])
      LogicalProject(deptno0=[$5], NAME=[$6], empid=[$0])
        LogicalFilter(condition=[>($0, 5)])
          LogicalJoin(condition=[=($1, $5)], joinType=[inner])
            LogicalTableScan(table=[[HR, emps]])
            LogicalTableScan(table=[[HR, depts]])

从下往上看

 

Step4: 优化阶段（RelNode–>RelNode）

第四阶段是 Calcite 的核心所在，优化器进行优化的地方，前面 sql 中有一个明显可以优化的地方就是过滤条件的下压（push down），在进行 join 操作前，先进行 filter 操作，这样的话就不需要在 join 时进行全量 join，减少参与 join 的数据量。

 

关于filter 操作下压，在 Calcite 中已经有相应的 Rule 实现，即FilterJoinRule.FilterIntoJoinRule.FILTER_ON_JOIN，这里使用 HepPlanner 作为示例的 planer，并注册 FilterIntoJoinRule 规则进行相应的优化。demo代码如下：

HepProgramBuilder builder = new HepProgramBuilder();  
builder.addRuleInstance(FilterJoinRule.FilterIntoJoinRule.FILTER_ON_JOIN); //note: 添加 rule
HepPlanner hepPlanner = new HepPlanner(builder.build());  
hepPlanner.setRoot(relNode);  
relNode = hepPlanner.findBestExp();  
relNode.explain(relWriter);

优化后的逻辑计划

LogicalSort(sort0=[$0], dir0=[ASC])
  LogicalProject(NAME=[$1], EXPR$1=[$2])
    LogicalAggregate(group=[{0, 1}], EXPR$1=[COUNT()])
      LogicalProject(deptno0=[$5], NAME=[$6], empid=[$0])
        LogicalJoin(condition=[=($1, $5)], joinType=[inner])
          LogicalFilter(condition=[>($0, 5)])
            LogicalTableScan(table=[[HR, emps]])
          LogicalTableScan(table=[[HR, depts]])

从下往上看

 

在 Calcite 中，提供了两种 planner：HepPlanner 和 VolcanoPlanner

HepPlanner

特点（来自 Apache Calcite介绍）：

  1. HepPlanner is a heuristic optimizer similar to Spark’s optimizer，与 spark 的优化器相似，HepPlanner 是一个 heuristic 优化器；
  2. Applies all matching rules until none can be applied：将会匹配所有的 rules 直到一个 rule 被满足；
  3. Heuristic optimization is faster than cost- based optimization：它比 CBO 更快；
  4. Risk of infinite recursion if rules make opposing changes to the plan：如果没有每次都不匹配规则，可能会有无限递归风险；
VolcanoPlanner

特点（来自 Apache Calcite介绍）：

  1. VolcanoPlanner is a cost-based optimizer：VolcanoPlanner是一个CBO优化器；
  2. Applies matching rules iteratively, selecting the plan with the cheapest cost on each iteration：迭代地应用 rules，直到找到cost最小的plan；
  3. Costs are provided by relational expressions；
  4. Not all possible plans can be computed：不会计算所有可能的计划；
  5. Stops optimization when the cost does not significantly improve through a determinable number of iterations：根据已知的情况，如果下面的迭代不能带来提升时，这些计划将会停止优化；

 
最后附上查询处理架构图，以及源码流向图

在这里插入图片描述

在这里插入图片描述

四. 总结

Calcite 本身的架构比较好理解，但是具体到代码层面就不是那么好理解了，它抛出了很多的概念，入门的门槛确实高一些，但是当这些流程梳理清楚之后，其实再回头看，也没有多少东西，在生产中用的时候主要也是针对具体的业务场景扩展相应的 SQL 语法、进行具体的规则优化。

Calcite 架构设计得比较好，其中各个组件都可以单独使用，Rule（规则）扩展性很强，用户可以根据业务场景自定义相应的优化规则，它支持标准的 SQL，支持不同的存储和计算引擎，目前在业界应用也比较广泛，这也证明其牛叉之处。

 

参考：
https://matt33.com/2019/03/07/apache-calcite-process-flow/
https://github.com/gerardnico/calcite
https://www.slideshare.net/julianhyde/apache-calcite-a-tutorial-given-at-boss-21
https://www.slideshare.net/JordanHalterman/introduction-to-apache-calcite?qid=fec98de5-2f12-400e-99eb-65ea101947a0

roman_日积跬步-终至千里
关注
专栏目录
HepPlanner源码分析——Calcite
wangxingxing2006的专栏
12-26 4603
Query Optimization for Distributed Database Systems Calcite是开源的一套查询引擎，很多开源项目都使用了该开源项目，特别是对其Optimizer部分的使用，类似Drill、Hive、Flink都使用Calcite作为其优化引擎。 Calcite实现了两套Planner，HepPlanner和VolcanoPlanner，HepPlanne
calsite原理_GitHub - NeoOU/calcite_analysis: calcite框架原理分析
weixin_39828338的博客
12-23 209
前言Calctie是一款优秀的动态数据管理框架。可以以统一的SQL查询语言接口进行数据的管理。官网的文档上说Calcite本身并不进行数据存储以及数据处理，其原理大约也是对sql进行语法解析，生成执行计划或者关系操作树，最后将这些操作交由各个数据源进行执行。一直想在这类框架上做一些有趣的实现。于是开启了对其文档翻译以及源码分析的工作，旨在了解平台运作的原理，能力边界以及使用的场景。本教程是一个动态...
calcite-map-demo:将 Calcite 与分层数据集集成的演示
06-27
方解石地图演示 演示使用 Calcite 查询嵌套数据。 运行测试 mvn test -Dsuites=devth.calcite.TestRemoteCalcite mvn test -Dsuites=devth.calcite.TestMapCalcite 打开一个 sqlline shell ./sqlline sqlline> !connect jdbc:calcite:model=src/test/resources/model.json admin admin 0: jdbc:calcite:model=src/test/resources/mode> !tables +-----------+-------------+------------+------------+---------+----------+------------+-----------+-----
apache calcite源码阅读（五）org.apache.calcite.sql.parser包下的SqlParser类 解析
goTsHgo的博客
06-08 896
`SqlParser` 构造函数：接受 `SqlAbstractParserImpl` 对象和 `SqlParser.Config` 对象作为参数，并根据配置初始化 `SqlParser` 的实例。`SqlParser` 类提供了一组方法来解析和验证 SQL 语句，并返回相应的 `SqlNode` 对象，以便进一步处理和分析 SQL 语句的结构和内容。- `parseStmt` 方法：与 `parseQuery` 方法相同，解析完整的 SQL 查询并返回 `SqlNode` 对象。
Calcite原理和代码讲解(一)
热门推荐
大表哥的博客
07-19 1万+
1.Calcite介绍 (1)简介 Apache Calcite 是面向 Hadoop 新的查询引擎，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力。 Calcite 的目标是“ one size fits all （一种方案适应所有需求场景）”，希望能为不同计算平台和数据源提供统一的查询引擎，并以类似传统数据库的访问方式（SQL 和高级查询优化）来访问Hadoop 上的数据。 Calcite 之前的名称叫做 optiq ，optiq 起初在 Hive 项目..
2、Calcite 源码编译与运行
猫猫爱吃小鱼粮
10-17 444
Calcite 源码编译与运行测试
Apache Calcite 优化器详解（二）
最新发布
2401_84048586的博客
04-23 685
很多人感叹“学习无用”，实际上之所以产生无用论，是因为自己想要的与自己所学的匹配不上，这也就意味着自己学得远远不够。无论是学习还是工作，都应该有主动性，所以如果拥有大厂梦，那么就要自己努力去实现它。最后祝愿各位身体健康，顺利拿到心仪的offer！由于文章的篇幅有限，所以这次的蚂蚁金服和京东面试题答案整理在了PDF文档里《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！最后祝愿各位身体健康，顺利拿到心仪的offer！
Calcite流程初探
JiajunBernoulli的博客
03-14 545
首先熟悉SQL的流程环节，Sql 的执行过程一般可以分为下图中的四个阶段，Calcite 同样也是这样：
Flink SQL w/ Blink Planner执行流程解析（上篇）
lvlei19911108的博客
07-02 458
Foreword 大数据领域SQL化的风潮方兴未艾(所谓"Everybody knows SQL")，Flink自然也不能“免俗”。Flink SQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSet API的复杂细节，降低了使用门槛。 那么，一条Flink SQL语句是如何...
flink流处理
weixin_43705952的博客
12-07 1989
<?xml version="1.0" encoding="UTF-8"?> -<project xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"&gt
calcite-web：Calcite设计计划的权威性前端开发资源。 包括可扩展的基本组件和样式，以及ArcGIS属性的模块化高效框架
02-05
该项目已弃用，不建议用于将来的开发。 方解石网 Calcite Web是一个Web设计框架，为基于浏览器的属性和产品实施Esri品牌指南和Calcite设计框架。 Calcite Web用编写，并且与标准SassRubygem和编译器兼容。 该项目还包括用于交互模式的无依赖JavaScript库。 入门 我们建议使用软件包管理器安装Calcite Web。 Calcite Web既可以用作也可以用作。 请查阅以获取安装说明。 一旦安装了Calcite Web，阅读有助于您了解如何使用它。 浏览器支持 IE浏览器/边缘 火狐浏览器 Chrome 苹果浏览器 IE10，IE11，Edg
【Calcite源码学习】ImmutableBitSet介绍
skyyws的博客
02-15 718
Calcite中实现了一个ImmutableBitSet类，用于保存bit集合。在很多优化规则和物化视图相关的类中都使用了ImmutableBitSet来保存group by字段或者聚合函数参数字段对应的index。本文从源码层面梳理了ImmutableBitSet类相关的一些关键函数。
Flink SQL 之 Calcite Volcano优化器（源码解析）
http://www.54tianzhisheng.cn/
10-23 795
Calcite作为大数据领域最常用的SQL解析引擎，支持Flink , hive, kylin , druid等大型项目的sql解析同时想要深入研究Flink sql源码的话calcit...
apache calcite源码阅读（三）org.apache.calcite.sql.validate下的接口SqlValidator 方法解析
goTsHgo的博客
06-08 540
21. `validateAggregateParams(SqlCall var1, @Nullable SqlNode var2, @Nullable SqlNodeList var3, @Nullable SqlNodeList var4, SqlValidatorScope var5)` 方法：验证聚合函数的参数。7. `getValidatedNodeTypeIfKnown(SqlNode var1)` 方法：获取给定 SQL 节点的验证后数据类型，如果未知则返回 `null`。
apache calcite源码阅读（一）org.apache.calcite.sql下的SqlNode.class
goTsHgo的博客
06-07 430
以及一个 `Litmus` 参数 `litmus`，表示比较的结果。28. `public static <T extends SqlNode> Collector<T, ArrayList<SqlNode>, SqlNodeList> toList()`：返回一个 `Collector` 对象，用于将 `SqlNode` 对象流收集为 `SqlNodeList` 对象。`：定义了一个空数组常量 `EMPTY_ARRAY`，它的类型是 `SqlNode[]`，表示一个空的 `SqlNode` 数组。
Apache Calcite HepPlanner源码学习
u012794915的博客
12-09 905
 calcite提供了两种查询优化器： 基于规则的启发式优化器HepPlanner(rule-based optimizer RBO) 基于代价的VolcanoPlanner（cost-based optimizer CBO) 本篇介绍HepPlanner的工作原理。在HepPlannerTest.java中添加如下代码进行源码分析： // HepPlannerTest.java @Tes...
Flink源码阅读（七）--- Calcite 语法拓展
lvlei19911108的博客
07-02 412
Calcite主要是做SQL解析、校验、优化等工作，比如Flink、Hive底层都是使用的calcite。本文内容是基于Flink 1.12来讲解。 首先从整体上对Calcite使用做个了解，Calcite 使用 javacc作为语法解析器，并且使用freemarker作为模板引擎，在编译的时候，freemarker会将 配置文件、模板语法文件、附加模板文件 整体生成最终的语法文件，并通过java...
Calcite 解析层详解
猫猫爱吃小鱼粮
10-26 821
calcite 解析层详解
【源码预备】Calcite基础知识与概念：关系代数概念、查询优化、sql关键字执行顺序以及calcite基础概念
hiliang521的博客
01-05 1630
本文主要描述：Calcite 相关的基础性内容。 >1. 关系代数基础概念 >2. 查询优化简单介绍 >3. sql关键字解析顺序 >4. calcite基础概念
calcite的jdbc:calcite:model=src/test/resources/mode
05-10
lsfoodmart.json连接字符串中，src/test/resources/model/foodmart.json是模型文件的路径。这个连接字符串告诉Calcite使用这个模型文件来连接数据源。模型文件描述了数据源的结构和如何访问它。在这个例子中，模型文件描述了一个包含foodmart数据的关系型数据库。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

roman_日积跬步-终至千里

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值