In-Memory DBMS 『Peloton』技术简述

点这里排版好

本文为Relaxed Operator Fusion for In-Memory Databases: Making Compilation, Vectorization, and Prefetching Work Together At Last[Menon, P. et al. 2017]的简述

这篇文章发表在2017 VLDB，并且受邀在2018年VLDB会议上发言

这篇文章初看的时候 有些晦涩 头太疼

简单来说这个题目就是我们在关系数据库中把编译、向量化、预取这些技术都用上了 牛不牛

Motivation

作者这是在向我们要小星星⭐️

hhh 开玩笑的 当然这篇文章的定位确实是CMU开源数据库Peloton技术背书

首先 本文研究的是内存数据库的DBMS

内存数据库相较于传统数据库而言

• 数据储存在内存中 读取数据相较于磁盘而言 不可同日而语
• 原来的Cache就从内存变成CPU高速缓存
• 磁盘I/O已经Outer了，CPU才是关键（L1，throughput）
• 对于指针密集型操作(例如Hash Table，Index Probe)寻址时间占大头
• 所以对提高缓存覆盖率的需求就很迫切
• 另外在同等CPU效力下，提高CPU的计算吞吐量也是一个关键

目前已有的技术可以做到

• 软件预取Prefetching指令可以在需要之前把数据块从存储器中移动到CPU高速缓存中，从而提高缓存覆盖率
• SIMD-（Single Instruction Multiple Data 单指令多数据）指令利用向量化数据提高计算的吞吐量

但在这篇文章之前还不能把二者结合在一起

上述两者都不适用于a tuple-at-a-time model

• 为了通过预取降低缓存未命中造成的延迟 必须获得大量的元组
• 为了适用SIMD把多个维度的向量捆绑在一起 也必须一次获取多个元组

看起来好像都是一次获得多个元组，但二者之间差别很大

• SIMD要求数据连续打包在一起
• 而预取则不要求预取的地址连续，可以一个个获取

目前支持查询编译的大多数DBMS不支持向量化处理或仅仅编译查询一部分，例如宾语，同样没有系统采用数据级并行优化或者预取。

SO 本文的目的就是利用称之为重叠运算符融合的ROF(relaxed operator fusion)模型，使得预取、向量化可以有效的协调工作

Background

在阐述所需要的背景知识之前，先给出一个例子方便理解

TPC-H是TPC(Transaction ProcessingPerformance Council)事务处理性能协会用于测试DBMS在特定查询下的决策支持能力

TPC-H中有22个子问题 每一个都是较为复杂的语句

本文以TPC-H Q19为例子