基于全国产PCIE SWITCH 4.0/5.0的AI服务器PCIe拓扑应用研究 （一）

1 引言

为满足大数据 、 云计算和人工智能等领域的数

据收集与处理需求 , 采用各种异构形式的 AI 服务

器得到了广泛应用 。CPU+GPU 是 AI 服务器中

普遍使用的计算单元组合 [1] 。 其中 ,P2P(Peerto

Peer) 通信用于多 GPU 系统中 , 借助缓存设备 , 可

以有效利 用 PCIe 资 源 进 行 GPU 之 间 的 数 据 交

互 [2] 。

针对 GPU 加速应用 , 业内已有面向多种软件

工具 、 硬件配置和算法优化的研究 。2016 年 ,Shi

等人 [3] 通过性能基准测试 , 比较了 GPU 加速深度

学习 的 软 件 工 具 (Caffe、CNTK、TensorFlow 和

Torch 等 );2018 年 ,Xu 等人 [4] 通过对软件和硬件

配置的组合研究 , 得到不同开源深度学习框架的应

用特性和功能 , 进一步量化了硬件属性对深度学习

工作 负 载 的 影 响 ;2019 年 ,Farshchi 等 人 [5] 使 用

FireSim 将 开 源 深 度 神 经 网 络 加 速 器 NVDLA

(NVIDIA Deep Learning Accelerator) 集 成 到

AmazonCloudFPGA 上的 RISC-VSoC 中 , 通过

运行 YOLOv3 目标检测算法来评估 NVDLA 的性

能 。 但是 , 基于 CPU+GPU 架构 , 针对 AI 服务器

在各应用场景中的分析却鲜有研究 。

本文主要对 AI 服务器中 3 种典型的 PCIe 拓

扑 Balance Mode、Common Mode 和 Cascade

Mode 的应用场景进行研究 , 旨在通过对 3 种拓扑

的点对点带宽与延迟 、 双精度浮点运算性能和深度

学习推理性能分析 , 得到 3 种拓扑在各应用场景中

的优势和劣势 , 为 AI 服务器的实际应用提供优选

配置指导 。

2 典型拓扑结构

2.1 3 种基础拓扑结构

(1)BalanceMode。

BalanceMode 拓扑为 Dualroot, 根据 PCIe 资

源将 GPU 平 均 分 配 到 各 个 CPU, 同 一 个 PCIe

Switch 下的 GPU 可以实现 P2P 通信 , 不同 CPU

下挂接的 GPU 需要跨超级通道互联 UPI(Ultra

PathInterconnect) 才能通信 。 以 8 个 GPU 卡为

例 ,BalanceMode 拓扑结构如图 1 所示

(2)CommonMode。

CommonMode 拓扑中 GPU 的 PCIe 资源均

来自同一个 CPU, 同一个 PCIeSwitch 下的 GPU

可以实现 P2P 通信 , 不同 PCIeSwitch 下挂接的

GPU 需要跨 CPU PCIeRootPort 才能实现 P2P

通信 , 但通信带宽 低 于 同 一 个 PCIeSwitch 下 的

P2P 通信 。 以 8 个 GPU 卡为例 ,Common Mode

拓扑结构如图 2 所示 。

(3)CascadeMode。

CascadeMode 拓扑中 GPU 的 PCIe 资源均来

自同一个 CPUPCIeRootPort,PCIeSwitch 之间

为级联拓扑 , 同一级 PCIeSwitch 下的 GPU 可以

实现 P2P 通信 , 第 1 级 PCIeSwitch 下的 GPU 和

第 2 级 PCIeSwitch 下的 GPU 之间可以实现 P2P

通信 , 不需要通过 CPU PCIeRootPort。 以 8 个

GPU 卡为 例 ,Cascade Mode 拓 扑 结 构 如 图 3 所

示

全国产PCIE4.0/5.0 SWITCH NVMe 混合直连背板

*硬盘热插拔功能；
*灯态支持硬盘上电，读写，报错；
*SPGIO硬盘报错功能；
*硬盘分时启动；
*风扇温度控制；
* I2C（BMC）；