Parallel Join Algorithms (Sorting)
背景
关于Join的其他背景可以查看上一篇讲Hash Join的文章。
SINGLE INSTRUCTION, MULTIPLE DATA (SIMD)
有一系列的CPU指令允许处理器同时在多个数据点上执行相同的操作。
目前的AMD和Intel CPU均具有ISA和微体系结构,支持SIMD操作。
优点:
- 如果一个算法可以被矢量化(如,神经网络中的矩阵运算,高斯消元的矩阵运算),则可以显着地提升性能和资源利用率。
缺点:
- 一个算法不是特别容易被矢量化的。使用SIMD实现算法仍然大部分是手动过程,而不能用编译器自动完成。
- SIMD可能对数据对齐有限制。
- 将数据收集到SIMD寄存器并将其分散到正确的位置是比较困难或低效的。
为啥不用GPU
说到了矢量化的例子,我举了神经网络中的矩阵运算,对神经网络有一定了解的人都知道,神经网络中的运算用GPU更合适,那么为什么不在这儿使用GPU加速呢?
因为在DRAM和GPU之间来回移动数据比PCI-E总线慢。
- 有一些更新的支持GPU的DBMS
- 例子:MapD,SQream,Kinetica
- 新兴的可共享CPU内存的协处理器可能会改变这一点。
- 例子:AMD的APU(这玩意儿性能不亚于GPU,散热还比GPU低),Intel的Knights Landing
SORT-MERGE JOIN
阶段1:排序
- 根据连接键对R和S的元组进行排序。
阶段2:合并
- 扫描已排序的关系并比较元组。
- 外部关系R只需扫描一次。
排序总是代价最高的部分。我们可以利用新的硬件尽可能地加快速度。
- 使用尽可能多的CPU内核。
- 请注意NUMA限制,读取别的机器的数据将花费更多的时间,从而成为一个瓶颈。
PARALLEL SORT-MERGE JOIN
阶段1:分区(可选)
- 将R分区并将其分配给工worker/core。
- 一般是通过key来决定分区的
阶段2:排序
-
<