高级数据库二十：并行JOIN算法（Sorting）

Parallel Join Algorithms (Sorting)

背景

关于Join的其他背景可以查看上一篇讲Hash Join的文章。

SINGLE INSTRUCTION, MULTIPLE DATA (SIMD)

有一系列的CPU指令允许处理器同时在多个数据点上执行相同的操作。

目前的AMD和Intel CPU均具有ISA和微体系结构，支持SIMD操作。

优点：

• 如果一个算法可以被矢量化（如，神经网络中的矩阵运算，高斯消元的矩阵运算），则可以显着地提升性能和资源利用率。

缺点：

• 一个算法不是特别容易被矢量化的。使用SIMD实现算法仍然大部分是手动过程，而不能用编译器自动完成。
• SIMD可能对数据对齐有限制。
• 将数据收集到SIMD寄存器并将其分散到正确的位置是比较困难或低效的。

为啥不用GPU

说到了矢量化的例子，我举了神经网络中的矩阵运算，对神经网络有一定了解的人都知道，神经网络中的运算用GPU更合适，那么为什么不在这儿使用GPU加速呢？

因为在DRAM和GPU之间来回移动数据比PCI-E总线慢。

• 有一些更新的支持GPU的DBMS
  
  • 例子：MapD，SQream，Kinetica
• 新兴的可共享CPU内存的协处理器可能会改变这一点。
  
  • 例子：AMD的APU（这玩意儿性能不亚于GPU，散热还比GPU低），Intel的Knights Landing

SORT-MERGE JOIN

阶段1：排序

• 根据连接键对R和S的元组进行排序。

阶段2：合并

• 扫描已排序的关系并比较元组。
• 外部关系R只需扫描一次。

排序总是代价最高的部分。我们可以利用新的硬件尽可能地加快速度。

• 使用尽可能多的CPU内核。
• 请注意NUMA限制，读取别的机器的数据将花费更多的时间，从而成为一个瓶颈。

PARALLEL SORT-MERGE JOIN

阶段1：分区（可选）

• 将R分区并将其分配给工worker/core。
• 一般是通过key来决定分区的

阶段2：排序

<