SQL查询计划(Query Plan)处理模型(processing model)

本文探讨了数据库执行引擎的两种重要技术——向量化执行和编译执行。向量化执行利用CPU流水线并批量处理数据,减少缓存丢失,适合大数据量处理;而编译执行通过Codegen技术将运算编译为函数,利用寄存器计算,提高效率,但不适用于小规模OLTP场景。两者各有优缺点,在实际应用中需根据场景选择合适策略。
摘要由CSDN通过智能技术生成

https://www.iteblog.com/archives/9806.html

迭代模型(火山模型)

在这里插入图片描述

物化模型

在这里插入图片描述

向量化执行

在这里插入图片描述

编译执行

编译执行基本做法是使用Codegen 技术,将所有的算子编译成一个函数,通过PUSH 的模型自下而上通过数据上推完成计算。典型的代表产品有Spark 和 Peloton。

在这里插入图片描述

向量化执行和编译执行的比较

参考:
云原生数据仓库TPC-H第一背后的Laser引擎大揭秘
Spark代码生成-全阶段代码生成

向量化执行
优点:

  • 充分发挥CPU 的流水线执行(不会出现大量虚函数调用)
  • 内存的顺序访问,减少cache的miss(一次缓存多条记录在内存中)

缺点:

  • 实现逻辑比较复杂
  • 需要批量的数据,并不适合每次计算数量较小的OLTP 场景
  • 需要缓存批量数据,缓存本身带来一定的内存开销。

编译执行
优点:

  • 充分发挥CPU 的流水线执行(不会出现大量虚函数调用)
  • 由于每次计算的都是一行数据,执行过程可以将这一行数据保存在寄存器里面,寄存器计算代替内存计算
  • 由于每次计算的都是一行数据,执行过程可以将这一行数据保存在寄存器里面,寄存器计算代替内存计算

缺点:

  • PUSH 模型控制逻辑比较复杂
  • 由于采用单条计算,无法做到内存的顺序访问,所以它整体的Cache miss 率比较高
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值