点这里排版好
这篇文章发表在2017 VLDB,并且受邀在2018年VLDB会议上发言
这篇文章初看的时候 有些晦涩 头太疼
简单来说这个题目就是我们在关系数据库中把编译、向量化、预取这些技术都用上了 牛不牛
Motivation
作者这是在向我们要小星星⭐️
hhh 开玩笑的 当然这篇文章的定位确实是CMU开源数据库Peloton
技术背书
首先 本文研究的是内存数据库
的DBMS
内存数据库
相较于传统数据库
而言
- 数据储存在内存中 读取数据相较于磁盘而言 不可同日而语
- 原来的Cache就从内存变成
CPU高速缓存
- 磁盘I/O已经Outer了,CPU才是关键(L1,throughput)
- 对于
指针密集型
操作(例如Hash Table,Index Probe)寻址时间占大头 - 所以对提高
缓存覆盖率
的需求就很迫切 - 另外在同等CPU效力下,提高CPU的
计算吞吐量
也是一个关键
目前已有的技术可以做到
软件预取Prefetching
指令可以在需要之前把数据块从存储器中移动到CPU高速缓存中,从而提高缓存覆盖率SIMD
-(Single Instruction Multiple Data 单指令多数据)指令利用向量化数据提高计算的吞吐量
但在这篇文章之前还不能把二者结合在一起
上述两者都不适用于a tuple-at-a-time model
- 为了通过预取降低缓存未命中造成的延迟 必须获得大量的元组
- 为了适用SIMD把多个维度的向量捆绑在一起 也必须一次获取多个元组
看起来好像都是一次获得多个元组,但二者之间差别很大
- SIMD要求数据连续打包在一起
- 而预取则不要求预取的地址连续,可以一个个获取
目前支持查询编译的大多数DBMS不支持向量化处理或仅仅编译查询一部分,例如宾语,同样没有系统采用数据级并行优化或者预取。
SO 本文的目的就是利用称之为重叠运算符融合
的ROF
(relaxed operator fusion)模型,使得预取、向量化可以有效的协调工作
Background
在阐述所需要的背景知识之前,先给出一个例子方便理解
TPC-H是TPC(Transaction ProcessingPerformance Council)事务处理性能协会用于测试DBMS在特定查询下的决策支持能力
TPC-H中有22个子问题 每一个都是较为复杂的语句
本文以TPC-H Q19为例子