高级数据库二十二:矢量化运行(二)

本文深入解析矢量化执行在数据库中的应用,重点关注BITWEAVING技术的两种方法——水平和垂直,以及HYPER数据块的压缩策略。BITWEAVING通过位级并行化提高压缩数据的谓词评估效率,而HYPER数据块结合冷热数据分离,优化OLAP和OLTP性能。文章还对比了两种方法的性能,并讨论了压缩数据在矢量化执行中的挑战和解决方案。
摘要由CSDN通过智能技术生成

Vectorized Execution (Part II)

上一次将的哥大的论文的矢量化算法在没有四五个SIMD寄存器的情况下是没法运行的。因为DBMS需要将64位的地址和64位的数据存入寄存器

考虑到数据压缩技术,我们不能改变64位的地址,但是我们不一定要全部存储64位的数据。

这样产生的问题是,压缩数据的位宽不一定自然地适合SIMD寄存器插槽。如你压缩前128位的寄存器存储了4个32位的数据,压缩后变成了64+12位,所以有一部分空间被浪费了。

这意味着DBMS必须做额外的工作来将数据转换成适当的格式。

BITWEAVING

我们上次说过,DBMS希望能够充分地利用lane。

Bitweaving是列数据库的替代存储布局,旨在使用SIMD对压缩数据进行有效的谓词评估。

  • 顺序保留字典编码。
  • 位级并行化。
  • 只需要通用指令(不需要scatter/gather)

方法1:水平

  • 位级面向行的存储

对于整个存储,我们假设这是8位,实际也可以是64位。

排序顺序是按列顺序来的。注意图中t0、t1、t2的排序。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值