“Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书（24版）DPU部分节选

近年来，大数据行业的蓬勃发展除了来自软件层的持续迭代与创新，更有赖于计算机硬件环境的持续优化，尤其是在芯片与操作系统国产化的大趋势下，硬件升级带来的性能提升、成本降低、并行处理能力优化、存储与网络优化、安全风险管控等均为数据引擎的发展提供了阶梯式进步的空间。

在奇点云2024年版《OLAP数据库引擎选型白皮书》中，中科驭数联合奇点云针对Spark+Hive这类大数据计算场景下的主力引擎，测评DPU环境下对比CPU环境下的性能提升效果。特此节选该章节内容，与大家共享。

DPU概述

什么是DPU？为什么要关注DPU？

DPU（Data Processing Unit）是以数据为中心构造的专用处理器，采用软件定义技术路线支撑基础设施层资源虚拟化，支持存储、安全、服务质量管理等基础设施层服务。

提到DPU，2020年英伟达CEO黄仁勋在其GTC大会上的一句话引起业界高度关注：“DPU 将成为未来计算的三大支柱之一，未来的数据中心标配是“ CPU + DPU + GPU”。

NVIDIA GTC 2020（英伟达2020年GPU技术大会）上，其CEO黄仁勋的一句话引起了业界高度关注：“DPU 将成为未来计算的三大支柱之一，未来的数据中心标配是CPU + DPU + GPU。”

DPU的设计思路，是将“CPU处理效率低下、GPU处理不了”的负载卸载到专用DPU，提升整个计算系统的效率、降低整体系统的总体拥有成本（TCO，Total Cost of Ownership），以实现底层基础设施的“降本增效”。DPU最直接的作用是作为CPU的卸载引擎，接管网络虚拟化、硬件资源池化等基础设施层服务，释放CPU的算力到上层应用。

对比CPU、GPU与DPU：

1. CPU面向应用程序，负责进行系统管理维持软硬件生态；
2. GPU面向科学计算，负责进行规则计算支持数据级并行应用；
3. DPU面向数据中心基础设施，负责进行异构计算支撑卸载网络、存储、安全业务等降低“Datacenter Tax”。

图：CPU、GPU、DPU算力生态（相关厂商为不完全列举）

图源：《中科驭数DPU技术白皮书》