Apache Calcite关系表达式优化-基于代价分析

最新推荐文章于 2024-06-28 01:36:51 发布
最新推荐文章于 2024-06-28 01:36:51 发布
阅读量478 收藏
点赞数
分类专栏： Apache Calcite 文章标签： Apache Calcite
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31183071/article/details/102746742
版权

 

代价类

org.apache.calcite.plan.RelOptCost

工厂

org.apache.calcite.plan.RelOptCostFactory

默认工厂的实现

org.apache.calcite.plan.RelOptCostImpl#FACTORY

工厂的接收方-优化器

      final HepPlanner hepPlanner = new HepPlanner(hepProgram,
          null, noDag, null, RelOptCostImpl.FACTORY);

提供代价信息

org.apache.calcite.rel.metadata.RelMetadataQuery

RelMetadataQuery会把关系表达式与org.apache.calcite.util.BuiltInMethod方法的关系找到提供代价数据的方法，一般来说就是关系表达式节点

例如

org.apache.calcite.rel.metadata.RelMetadataQuery#getDistinctRowCount对应

org.apache.calcite.rel.metadata.RelMetadataQuery#distinctRowCountHandler对应

org.apache.calcite.rel.metadata.BuiltInMetadata.DistinctRowCount对应

org.apache.calcite.util.BuiltInMethod#DISTINCT_ROW_COUNT

  DISTINCT_ROW_COUNT(DistinctRowCount.class, "getDistinctRowCount",
      ImmutableBitSet.class, RexNode.class),

 

junwen12221
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关系代数表达式优化步骤
m0_51718449的博客
06-26 6238
关系代数表达式优化步骤 本篇主要讲解怎么画查询语法树并对其优化，因为我在学关系代数的语法树的时候，在网上找不到比较详细的教法或者技巧，最后通过答案反推原理，所以想写一篇技巧来描述一下这类题的解题方法。 先上书内讲解 1、构造查询树 第一步：把用高级语言定义的查询转换为关系代数表达式 ★ 以 SELECT子向对应投影操作，以FROM字向对应笛卡尔积以 WHERE子句对应选择操作，生成原始查询树 ★ SQL语句转化为原始查询树 第二步：把关系代数表达式转换为查询树。 注： 查询树是一种表示关系代数表达式的树形结
Apache Calcite VolcanoPlanner代价计算解析与源码调试方法
feeling890712的博客
06-29 1918
Apache Calcite VolcanoPlanner代价计算解析与源码调试方法代价计算方法VolcanoPlanner的getCost方法RelMetadataQueryJaninoRelMetadataProvider生成handlerCalcite的debug方法 calcite的volcanoPlanner优化器是基于代价的，并且使用动态规划算法计算最优的关系表达式树。在通过规则变换后出现一个新的RelNode表达树结构时，对它与其子表达式进行注册的过程中会计算这个新的RelNode树结构的Re
[Apache Calcite]org.apache.calcite.plan.volcano.RelSubset cannot be cast to
junwen的博客
02-07 213
public Calc copy(RelTraitSet traitSet, RelNode child, RexProgram program) 实现该方法没有使用参数的值导致的错误
[flink]flink-sql-gateway的调试过程(二)sql的解析过程
新一的技术笔记
01-28 1238
前言： sql的解析过程，看到代码中用到的是： RelMetadataQuery.THREAD_PROVIDERS .set(JaninoRelMetadataProvider.of(FlinkDefaultRelMetadataProvider.INSTANCE())); 整个SqlCommandCall用的就是这个类里面的静态类 /* * Licensed to the Apache Software Foundation (ASF) under one * or mor.
Apache Calcite Linq4j学习
最新发布
Revivedsun的专栏
06-28 711
Linq4j是Apache Calcite项目中的一个模块，它提供了类似于LINQ（Language-Integrated Query）的功能，用于在Java中进行数据查询和操作。Linq4j可以将逻辑查询转换为物理查询，支持对集合进行筛选、映射、分组等操作。
Flink异常笔记
sunyaox的博客
06-22 1085
这里写自定义目录标题Flink异常笔记20210622 Flink异常笔记 20210622 1.The main method caused an error: Unable to instantiate java compiler org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.a
Apache Calcite 使用org.apache.calcite.plan.RelOptRule
junwen的博客
01-21 1179
1.继承与单例 public class PushDownFilter extends RelOptRule { public PushDownFilter(RelOptRuleOperand operand, String description) { super(operand, "XXXXX:" + description); } // o...
calcite-core-1.2.0-incubating-API文档-中文版.zip
04-23
Maven坐标：org.apache.calcite:calcite-core:1.2.0-incubating； 标签：core、apache、calcite、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档...
calcite-avatica-go：Apache Calcite的镜像-Avatica Go SQL驱动程序
01-28
快速开始使用Go模块安装： $ go get github.com/apache/calcite-avatica-goPhoenix / Avatica驱动程序实现了Go的database/sql/driver接口，因此，导入database/sql包和驱动程序： import "database/sql"import _ ...
apache-calcite-avatica-1.16.0-src.tar.gz
03-05
方解石是用于编写数据管理系统的框架。 它使用可插入查询转换规则将以关系代数表示的查询转换为有效的可执行形式。 有一个可选SQL解析器和JDBC驱动程序。...calcite/apache-calcite-avatica-1.16.0
apache-calcite-1.36.0-src.tar.gz
02-20
由于在某些情况下，通过Maven可能无法顺利下载到这个依赖，所以选择直接下载压缩包文件"apache-calcite-1.36.0-src.tar.gz"成为了一个备选方案。 Calcite的核心功能在于它的动态数据管理，它支持多种数据模型，包括...
apache-calcite-avatica-go-5.0.0-src.tar.gz
03-05
方解石是用于编写数据管理系统的框架。 它使用可插入查询转换规则将以关系代数表示的查询转换为有效的可执行形式。 有一个可选SQL解析器和JDBC驱动程序。...calcite/apache-calcite-avatica-go-5.0.0
flink sql包冲突异常
热门推荐
帆了个帆的专栏
04-21 1万+
使用flink on yarn方式提交Flink sql，抛出如下异常 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.progr...
Calcite中SQL血缘解析的实现原理
JiajunBernoulli的博客
09-04 2133
Calcite中血缘解析的使用和实现介绍
flink开发过程中遇到的问题
公众号[大数据技术与应用实战]，分享大数据实战案例
05-30 3632
文章目录类转换异常local class incompatible 类转换异常 cannot be cast to com.google.protobuf.Message Caused by: java.lang.ClassCastException: org.apache.hadoop.yarn.proto.YarnServiceProtos$RegisterApplicationMasterRequestProto cannot be cast to com.google.protobuf.Messa
Calcite Sql解析
METON的博客
01-20 2703
Calcite自定义SQL解析(经常使用的方法和配置)(mvn版本：1.21.0) 1、config.fmpp(calcite模板配置) data: { parser: { # Generated parser implementation package and class name. # 生成解析器实现类包和名称 包名 实体类名 package: "com.meton.flink.sql.parser", class: "MetonSqlParserIm
[数据库系统]关系代数表达式的优化算法
Franklins_Fan的博客
05-09 2707
Algorithm：关系代数表达式的优化算法 Input：一个关系代数表达式的语法树 Output：计算该表达式的程序 Method： (S1)依据定理L4，把形如σF1∩F2∩…∩Fn(E))σ_{F_1∩F_2 ∩ … ∩ F_n} (E))σF1​∩F2​∩…∩Fn​​(E))的选择表达式变成串接形式σF1(σF2(…(σFN(E))))σ_{F_1}(σ_{F_2}(…(σ_{F_N} (E))))σF1​​(σF2​​(…(σFN​​(E)))). (S2)对每个选择，依据定理L4至L9，
Apache Calcite：独立于存储与执行的SQL解析、优化引擎
chenxuanhanhao的专栏
08-25 2608
Calcite 原理解析 Apache Calcite 是独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。本文结合hive中基于代价的优化，解析calcite优化引擎的实现原理。 Calcite架构   Calcite架构图如下，其中Operator Expressions 是查...
Apache Calcite 处理流程详解（一）
数智技术
12-02 1519
关于 Apache Calcite 的简单介绍可以参考 Apache Calcite：Hadoop 中新型大数据查询引擎 这篇文章，Calcite 一开始设计的目标就是 one size fits all，它希望能为不同计算存储引擎提供统一的 SQL 查询引擎，当然 Calcite 并不仅仅是一个简单的 SQL 查询引擎，在论文 Apache Calcite: A Foundational Framework for Optimized Query Processing Over Heterogeneous
MaxCompute与Apache Calcite：SQL优化实战与个人成长
查询优化器是数据库中的关键组件，它负责将关系表达式转化为执行计划，直接影响系统性能。优化器主要有两种类型：规则基础优化器(RuleBasedOptimizer)和成本基础优化器(CostBasedOptimizer)。规则基础优化器依赖预定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值