帆软 执行存储过程 sql cpu沾满_PostgreSQL数据库的智能存储

作者简介 KaiGai Kohei，HeteroDB数据库首席架构师、共同创始人，PG-Storm作者。

译者简介

朱君鹏，华东师范大学博士研究生，个人兴趣主要集中在：新型硬件(GPU、RDMA、FPGA等)在数据库中的应用，架构设计与并行计算。

校对者简介

崔鹏，任职于海能达通信股份有限公司哈尔滨平台中心,数据库开发高级工程师,致力于PostgreSQL数据库在专网通信领域、公共安全领域的应用与推广,个人兴趣主要集中在:分布式数据库系统设计、高并发高可用数据库架构设计与开源数据库的源码研究。

摘要

GPUDirect RDMA允许直接从PCIe设备到GPU RAM的对等数据加载。 对于Linux内核和PostgreSQL的扩展模块，我们通过将NVMe-SSD上的数据库块加载到GPU RAM以及在GPU设备上执行SQL来协同利用此基础架构进行非常快速的表扫描。 一旦数据块加载到GPU RAM上，内核函数就会根据提供的SQL(WHERE clause，JOIN和GROUP BY)减少数据大小。 在结果中，CPU / RAM将获得比实际表大小小得多的数据大小，并且看起来存储在理解SQL的情况下智能地执行。 根据基于SQL星型模式的基准测试，我们的功能可以在80秒内扫描351GB平台;这是大约4.5GB / s的查询处理吞吐量，比通常的文件系统基本I / O实现快2.5倍。 此结果表明GPU对I / O密集型工作负载也很有价值，而不仅仅是计算密集型工作负载。

简要架构

OLAP(联机分析处理)是数据库领域的一个主要工作。它的特点是查询想要从大量数据中生成(相对)小的摘要;通常大于物理RAM大小。传统上，存储设备(如SSD)上的数据库的数据块被加载到主机系统的RAM一次，然后CPU或GPU处理它们。但是，由于数据块中的大多数行都被过滤，所以效率不高，因为在GROUP BY操作的缩减过程中，数据块中的大多数行都被过滤掉或仅被引用一次。在SQL工作负载的情况下，我们可以准确地知道如何在加载之后处理数据块。因此，可以设计GPU内核以并行地在多个块/行上运行SQL工作负载。我们实现了WHERE子句评估的GPU版本，Hash-Join和GROUP BY，作为PG-Strom [* 1]的功能。此外，我们开发了一个Linux内核模块，用于将SSD从SSD块传输到GPU RAM。PG-Strom是PostgreSQL [* 2]数据库的扩展。它控制Linux内核模块和GPU设备以卸载SQL工作负载。该架构允许一些SSD和GPU协同工作，并根据提供的SQL将预处理的数据流发送回主机系统。从应用程序的角度来看，存储似乎可以智能化的在设备上运行一些SQL工作负载。使用GPU RAM(=相对罕见)处理大数据的关键是循环缓冲和异步执行。我们将映射的GPU内存分成多个块，并逐个分配作业。在特定时刻，CPU在块上发出SSD到GPU DMA请求，在另一个块上的请求正在进行中，GPU内核正在运行以处理另一个块，并且通常的GPU到RAM写回DMA在 - 另一个块上的进展。它可以非常有效地提取GPU和NVMe-SSD的硬件功能。  

 

基准测试

 

我们在原始NVMe-SSD [* 3]上构建了一个具有上述数据结构的数据库，以及由2或3个SSD设备组成的md-raid0卷。 此工作负载是众所周知的星型模式基准，它反映了典型的DWH工作负载，也类似于一些IoT类数据结构。 我们运行一些报告查询，如上面的Query-3。 最大的表大小为351GB，但RAM大小为128GB。 因此，此工作负载是典型的I / O密集型工作负载而非计算密集型。 蓝色条是每个RAID配置的vanilla PostgreSQL的结果，橙色条是PG-Strom的结果，具有SSD到GPU的P2P DMA支持。 查询处理时间的倒数(例如，如果查询在80秒内完成，则其数据处理为351GB / 80.0s = 4492MB / s)。 它显示了更多的SSD设备使数据处理吞吐量更高。 另一方面，PG-Strom的结果显示，SSD-to-GPU P2P DMA比基于文件系统+ CPU的数据处理能够提供更高的NVMe-SSD功能。 特别是，“PG-Strom SSDx1”是原始NVMe-SSD设备的结果。 其数据处理吞吐量约为2.1-2.2GB / s;这几乎相当于SSD设备的目录规范(SeqRead中为2.2GB / s)。 这些结果向我们介绍了最近的半导体创新(GPU，SSD，......)使我们能够以比以前更便宜的成本赶上高端DWH级性能。

结论和展望

我们的挑战表明，从应用的角度来看，一对GPU和NVMe-SSD可以像智能存储一样运行。 GPU可以根据应用程序端的知识处理数据流，但在数据到达CPU / RAM之前有GPUDirect RDMA支持。 它将数据处理吞吐量提高到了硬件的理论极限值附近，但成本比现有的高端数据库解决方案相对较小。 目前，我们的实现仍然在md-raid0配置上具有不可忽视的开销。 它需要修改。 然后，我们将尝试每个计算节点10GB / s的数据处理吞吐量。  

参考文献

[1] PG-Strom – Extension of PostgreSQL for GPU acceleration, http://strom.kaigai.gr.jp/ [2] PostgreSQL – Well used open source RDBMS,  https://www.postgresql.org/   [3] Intel SSD 750 (400GB) –  http://www.intel.com/content/www/us/en/solid-state-drives/solid-state-drives-750-series.html   出自： http://heterodb.com/blobs/P7130_KAIGAI_SSD2GPU_FIXTYPO.pdf

PostgreSQL中文社区欢迎广大技术人员投稿

投稿邮箱：press@postgres.cn