2023-02-04 Apache Calcite 和 SQL 引擎学习资料总结

已于 2023-03-07 12:06:04 修改
阅读量654 收藏 3
点赞数
分类专栏： SQL查询优化器 文章标签： sql 查询优化器
于 2023-02-04 11:24:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adofsauron/article/details/128879990
版权

资料集合

  1. herry liang 优化器技术论文学习知乎专栏
  2. PingCap 学习资料
  3. 清华大学 AIDB 论文
  4. CWI 荷兰数学和计算机科学研究学会数据库Paper
  5. 数据库查询优化器论文列表
  6. 编程小梦康凯森博客
  7. 数据库内核杂谈

SQL 标准

  1. 春眠不觉晓，SQL 知多少？
  2. 数据库必知词汇：SQL标准
  3. SQL标准简介
  4. sql 92 wiki
  5. BNF Grammars for SQL-92, SQL-99 and SQL-2003

SQL 概念学习

  1. 什么是 SQL 谓词，如何使用 SQL 谓词
  2. CNF 合取范式
  3. 分布式SQL执行引擎核心是什么？Fragment、Stage、Subplan等概念有什么区别？
  4. SQL表达式

JDBC Server && Driver

  1. JDBC原理&浅析HIVE-JDBC

SQL 解析 && 元数据验证

  1. SQL 解析
    1. Calcite - 看懂 Parser.jj 中的 SqlSelect
    2. FMPP 介绍
    3. Apache Calcite SQL解析及语法扩展
    4. Calcite SQL 解析、语法扩展、元数据验证原理与实战（上)
  2. SQL 元数据验证
    1. Apache Calcite的类型系统
    2. LinkedIn transport，A framework for writing performant user-defined functions (UDFs) that are portable across a variety of engines including Apache Spark, Apache Hive, and Presto

Apache Calcite 学习

  1. Apache Calcite 一条 SQL 的查询计划生成之旅【上】
  2. Apache Calcite 一条 SQL 的查询计划生成之旅【下】
  3. SQL 查询优化原理与 Volcano Optimizer 介绍
  4. Apache Calcite 处理流程详解（一）
  5. Apache Calcite 优化器详解（二）
  6. Calcite 处理一条SQL - I (SQL to Rel)
  7. Calcite 处理一条SQL - II (Rels Into Planner)
  8. Calcite 启发式 Planner (HepPlanner)
  9. Apache Calcite 知乎学习专栏
  10. Apache Calcite的优化器规则解析
  11. Apache Calcite VolcanoPlanner 详解（三）
  12. Apache Calcite VolcanoPlanner代价计算解析与源码调试方法
  13. Apache Calcite VolcanoPlanner优化过程解析
  14. Calcite 中新增的 Top-down 优化器
  15. Calcite CBO 博客 - RelMetadataProvider 讲解
  16. Apache Calcite Document
  17. Calcite 对 Volcano 优化器优先队列的实现
  18. Apache Calcite Lattices
  19. Calcite RelTrait 概念讲解
  20. calcite 概念和架构
  21. Calcite RelTrait 讲解二
  22. Calcite Volcano Planner
  23. Apache Calcite: A Foundational Framework for Optimized Query Processing Over Heterogeneous Data Sources
  24. Calcite Join 处理 - I (执行器 & 简单 Reorder)

优化器相关技术博客

RBO && CBO && CBQT

  1. 数据库挖矿系列-优化器设计探索穿越之旅
  2. 独家揭秘 | 阿里云分析型数据库AnalyticDB新一代CBO优化器技术
  3. The Volcano Optimizer Generator : Extensibility and Efficient Search
  4. The Cascades Framework for Query Optimization
  5. cascade 优化器 -- 知乎
  6. 级联火山口：数据库查询优化器初探
  7. 什么是谓词下推，看这一篇就够了
  8. 一文终结SQL子查询优化
  9. 数据库内核杂谈（九）：开源优化器 ORCA
  10. 《Orca: A Modular Query Optimizer Architecture for Big Data》导读
  11. 用Orca替换MySQL的优化器？
  12. Cost-Based Query Transformation 从论文到工程实现
  13. Cost-based query transformation in Oracle
  14. 《Cost-Based Query Transformation》paper-reading（上）
  15. 《Cost-Based Query Transformation》paper-reading（下）
  16. 更高效的Cascades优化器 - Columbia Query Optimizer
  17. Cascades/Columbia Optimizer
  18. [VLDB 2016] The MemSQL Query Optimizer，HTAP优化器论文阅读
  19. Adaptive Statistics In Oracle 12c

优化器框架业界都有相应的论文，建议看原论文理解

同类引擎学习

  1. StarRocks 源码导读一
  2. StarRocks 优化器代码导读
  3. Tidb Cascades 优化器
  4. PolarDB-X CBO 优化器技术内幕
  5. StarRocks 技术原理资料汇总
  6. PolarDB-X 优化器核心技术 ~ Join Reorder
  7. StarRocks Join Reorder 源码解析
  8. StarRocks 查询优化系列文章
  9. StarRocks 技术内幕 | Join 查询优化
  10. Apache Doris Join 实现与调优实践
  11. 四万字讲解 doris
  12. 通过源码构建 StarRocks
  13. 通过源码构建 Doris
  14. Quick SQL -- 统一异构数据源 SQL 解析和翻译项目
  15. 天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？
  16. SuperSQL：跨数据源、跨DC、跨执行引擎的高性能大数据SQL中间件
  17. 「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘
  18. 腾讯天穹SuperSQL联邦融合计算引擎揭秘
  19. PolarDB for MySQL优化器查询变换系列 - join消除

物化视图

  1. 一文详解物化视图改写
  2. 物化视图在 SparkSQL 中的实践
  3. Spark SQL 物化视图原理与实践
  4. Presto 物化视图
  5. Kylin Kube 命中机制
  6. Oracle 物化视图
  7. Calcite UnifyRule物化识别原理
  8. 基于Impala的高性能数仓实践之物化视图服务
  9. SQL Server Partitioned Views
  10. Partitioned views over table partitioning

学习视频

  1. Moody-老师 数据库内核
  2. CMU Database Group - CMU 数据库 youtube，打开有惊喜
  3. 15-721 Advanced Database Systems (Spring 2020)，2023 版-15-721
  4. CMU 15-721 | 数据库系统进阶(2020·完整版)
  5. Writing a Streaming SQL & Materialized View Engine - Kenny Gorman
  6. Star Burst 优化器
  7. An Overview of the Starburst Trino Query Optimizer (Karol Sobczak)
  8. Noria: Fast Materialized Views for Fast Websites

相关开源项目

  1. Linkedin coral,这个项目能够将 Presto、Hive、Spark 之间方言互转
  2. substrait，使用 protobuf 来实现引擎中立的查询计划的序列化
  3. 向量化执行引擎框架 Gluten 宣布正式开源
  4. CMU noisepage
  5. Velox，向量化计算算子库
  6. Apache Calcite
  7. Apache Flink
  8. StarRocks
  9. Apache Doris
  10. Dremio

各种开源协议的对比

  1. 五种开源协议的比较(BSD，Apache，GPL，LGPL，MIT)
  2. 三种开源协议的选择：BSD，Apache，MIT

书籍

  1. Internal of Spark SQL
  2. 《数据库查询优化器的艺术：原理解析与 SQL 性能优化》

追踪开源项目 Star 数的网站

  1. 追踪开源项目 Star 数的网站

测试框架和 benchmark

  1. join-order-benchmark
  2. Tpc-ds hive-testbench
  3. 数据集：SSB、TPC-DS、TPC-H
  4. Cost Model 准确性测试：Testing the Accuracy of Query Optimizers
  5. ZetaSQL 语义兼容性测试 - ZetaSQL 本身有 60K+ 测试用例。ZetaSQL 语义兼容性测试的独特之处在于：很大一部分测试用例集中于 SQL 表达式和单个函数，广泛涵盖了不同的边界条件——这是许多其他测试套件不能提供的。
  6. SQL 逻辑正确性测试 - 逻辑正确性SQL 测试的天花板，是 SQLLite 的 SQLLogicTest 框架。它包含超过 7M 个测试查询（即700万！）。Firebolt 编写了一个脚本，将 SQLLogicTests 移植到内部 PeaceKeeper 格式，进行测试。DuckDB 也采用了类似的方法。
  7. 测试工具：YCSB
悟世者
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
calcite-avatica-go：Apache Calcite的镜像-Avatica Go SQL驱动程序
01-28
Apache Avatica / Phoenix SQL驱动程序 Apache Calcite的Avatica Go是Avatica服务器的Go驱动程序。 Avatica是的子项目。 快速开始 使用Go模块安装： $ go get github.com/apache/calcite-avatica-go Phoenix / Avatica驱动程序实现了Go的database/sql/driver接口，因此，导入database/sql包和驱动程序： import "database/sql" import _ "github.com/apache/calcite-avatica-go/v5" db, err := sql.Open("avatica", "http://localhost:8765") 然后只需使用数据库连接来查询一些数据，例如： rows := db.Query("SELECT COUNT(*) FROM test") 有关更多详细信息，请参见。 上提供了所有已发布版本的发行说明。 问题 我们不使用Github提交问题。 请在上创建问题，然后选择avati
calcite-kudu：适用于Apache Kudu的Apache Calcite适配器
02-18
Apache Calcite是一个SQL库，用于Apache Foundation内的多个大型产品中，用于分析，优化，并且Calcite-Kudu利用它对Kudu（一种快速分析数据库）执行查询。 用法 作为命令行客户端 Calcite Kudu将可用作SQL客户端的...
Go基于sqlx实现Mysql等数据库的增删改查工具类
penngo的专栏
08-10 760
sqlx是Go语言内置database/sql的扩展包，它在内置database/sql基础上提供更简洁的数据库操作。
Apache Calcite入门
qq_41057813的博客
08-03 2156
从csv看calcite
2023-08-07 数据库-查询优化器相关论文-记录
技术之路
08-07 417
大概用了9个月的时间，研读了优化器、执行器经典论文，论文主要来源于。
6大主流开源SQL引擎总结，遥遥领先的是谁？
weixin_33860553的博客
04-24 732
作者｜覃璐编辑｜Tina根据 O’Reilly 2016年数据科学薪资调查显示，SQL 是数据科学领域使用最广泛的语言。大部分项目都需要一些SQL 操作，甚至有一些只需要SQL。本文就带你来了解这些主流的开源SQL引擎！背景介绍 本文涵盖了6个开源领导者：Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto，还加上Calcite、Kylin、Phoenix、Tajo ...
SQL解析引擎Apache Calcite
黑曼巴
10-17 2574
1. 什么是Apache Calcite ? Apache Calcite 是一款开源SQL解析工具, 可以将各种SQL语句解析成抽象语法术AST(Abstract Syntax Tree), 之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。 Calcite的生前为Optiq(也为Farrago), 为Java语言编写, 通过十多年的发展, 在2013年成为Apache旗下顶级项目，并还在持续发展中, 该项目的创始人为Julian Hyde, 其拥有多年的SQL引擎开发经验, 目前
Apache Spark作为分布式SQL引擎
danpu0978的博客
04-26 153
SQL已有一段时间了，人们喜欢它。 但是，支持SQL的引擎已经随着时间而改变，以解决新问题并满足消费者的需求。 诸如Microsoft SQL Server之类的传统引擎在可伸缩性方面存在一些问题，这些问题已通过基于时间和基于云的解决方案得以解决。 另一方面，其他组件是从头开始构建的，可以在分布式环境中工作，因此他们可以将性能放在其优先级列表的顶部。 没有适用于所有用例的工具。 实际...
Apache Calcite教程-SQL解析-Calcite SQL解析
热门推荐
Chain的博客
11-20 1万+
Calcite SQL解析其中,在codegen文件夹下, config.fmpp (主要制定实现类路径)表示calcite 模板配置,Parser.jj是JavaCC解析器所需解析文件(比如增加函数时的主要修改文件),parserImpls.ftl/compoundIdentifier.ftl 附加模版文件. (都注释掉了, 暂时没有使用过) ......
Apache Calcite教程-SQL解析-Calcite自定义语法解析
u011250186的博客
06-19 2766
版权 Calcite自定义SQL解析 常用方法和配置 config.fmpp 配置和Parser.jj文件结合说明 package,class,imports keywords nonReservedKeywords joinTypes statementParserMethods literalParserMethods dataTypeParserMethods alterStatementParserMethods createStatementParserMethods dropStatement.
apache-calcite-avatica-1.16.0-src.tar.gz
03-05
方解石是用于编写数据管理系统的框架。 它使用可插入查询转换规则将以关系代数表示的查询转换为有效的可执行形式。 有一个可选SQL解析器和JDBC驱动程序。...calcite/apache-calcite-avatica-1.16.0
apache-calcite-1.25.0-src.tar.gz
03-05
方解石是用于编写数据管理系统的框架。 它使用可插入查询转换规则将以关系代数表示的查询转换为有效的可执行形式。 有一个可选SQL解析器和JDBC驱动程序。 方解石不存储数据或具有首选...calcite/apache-calcite-1.25.0
Apache Calcite
04-25
Apache Calcite使用实践，基于Apache Calcite的SQL解析引擎
calcite查询mysql_Apache Calcite教程-SQL解析-Calcite SQL解析
weixin_35297190的博客
02-23 1146
Calcite SQL解析代码目录如图:java config.fmppcalcite 模板配置mysqlParser.jjJavaCC解析器gitparserImpls.ftl/compoundIdentifier.ftl自定义JavaCC语法格式的解析SQL代码github生成解析器的流程如图:web Sql解析使用解析示例代码public class SqlParserSample {pub...
SQL 基础 | BETWEEN 的常见用法
少安事务所
04-30 296
来选取列中的值，这些值大于或等于一个边界值，同时小于或等于另一个边界值。操作符是SQL中非常有用的工具，它允许你快速选取某个范围内的值。这个查询不会返回任何行，因为没有任何列的值可以位于一个以。操作符是包含性的，这意味着它包括指定的边界值。是一个操作符，用于选取介于两个值之间的数据。操作符结合使用，以选取字符串中的一个范围。也常用于选取特定日期范围内的记录。子句中，以便选取某个范围内的值。相反，它选取不在这个范围内的值。
手撕spring框架（3）
dzend的专栏
05-01 610
在Spring框架中，BeanPostProcessor是一个接口，它允许在Spring容器实例化bean之后和调用bean的初始化方法之前对bean进行自定义处理。BeanPostProcessor接口定义了两个方法：postProcessBeforeInitialization和postProcessAfterInitialization。通过实现这两个方法，我们可以在bean初始化前后做一些额外的操作，比如修改bean的属性值、添加额外的逻辑等。
常用SQL命令
最新发布
wenxiaoba的博客
05-02 1122
常用SQL语句使用说明和示例
优化SQL的方法
weixin_44139651的博客
04-26 1582
使用join实现，但不适合join太多表，阿里巴巴开发者手册的规定，join表的数量不应该超过3个，join表数量太多时，会导致mysql在选错索引。一般SQL优化第一考虑的是索引优化，可使用explain命令，查看MySQL的执行计划，确认SQL是否有走索引。相对连接查询，子查询使用in关键字实现，具有结构化，相对简单，但是需要创建和删除临时表，增加资源消耗。索引可提升SQL效率，但索引需要额外的存储空间，而且还会有一定的性能消耗。left join，两个表的交集，以及左表剩余的数据，左表为驱动表。
Apache Calcite使用方法
05-30
Apache Calcite是一个灵活的SQL解析器框架，可以用于解析和优化SQL查询语句，支持多种数据库，包括MySQL、Oracle、SQL Server、PostgreSQL等。下面是Apache Calcite的使用方法： 1. 引入依赖 在项目的pom.xml文件...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

悟世者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值