从Flink1.8看看Calcite的优化规则怎么用

喜欢coding的谢同学

已于 2022-03-06 16:41:10 修改

阅读量2k

点赞数

分类专栏： # Calcite Flink 文章标签： flink calcite

于 2022-03-06 16:31:24 首次发布

本文链接：https://blog.csdn.net/weixin_44112790/article/details/123310690

版权

本文介绍了在Flink 1.8版本中如何使用Calcite的优化规则，包括两种优化方式：runHepPlanner和runVolcanoPlanner。HepPlanner采用三层优化策略，而VolcanoPlanner则相对简单，分为两层。无论哪种方式，最终都会通过StreamTableEnvironment或BatchTableEnvironment作为入口来调用优化方法。

摘要由CSDN通过智能技术生成

前言

在Flink1.9之前只使用Calcite的优化器进行优化，之后因为Blink的合入才带来了Flink自己的优化器。本文以Flink1.8为例子，看看Calcite的优化规则应该怎么使用。

优化

优化方式

Calcite有两种优化方式，Flink所有的优化规则也都是用的这两种

runHepPlanner

Flink在使用HepPlanner的时候拆成了三层，最底层的负责创建Calcite的HepPlanner并执行

  protected def runHepPlanner(
    hepProgram: HepProgram,
    input: RelNode,
    targetTraits: RelTraitSet): RelNode = {
   

    val planner = new HepPlanner(hepProgram, frameworkConfig.getContext)
    planner.setRoot(input)
    if (input.getTraitSet != targetTraits) {
   
      planner.changeTraits(input, targetTraits.simplify)
    }
    planner.findBestExp
  }

中间层控制规则是否重复使用，更具体来说就是某条规则创建了新节点后，是否再使用之前的规则。

  /*新节点不会应用之前的规则*/
  protected def runHepPlannerSequentially(
    hepMatchOrder: HepMatchOrder,
    ruleSet: RuleSet,
    input: RelNode,
    targetTraits: RelTraitSet): RelNode = {
   

    val builder = new HepProgramBuilder
    builder.addMatchOrder(hepMatchOrder)

    val it = ruleSet.iterator()
    while (it.hasNext) {
   
      builder.addRuleInstance(it.next())
    }
    runHepPlanner(builder.build(), input, targetTraits)
  }
  /*新节点会应用所有的规则即之前的规则可能会再次应用*/
  protected def runHepPlannerSimultaneously