聊透 GPU 通信技术——GPU Direct、NVLink、RDMA

又拍云 UPYUN

已于 2023-09-05 14:48:19 修改

阅读量2k

点赞数 2

文章标签： gru chatgpt ai 人工智能

于 2023-09-05 14:42:17 首次发布

本文链接：https://blog.csdn.net/github_36774378/article/details/132691813

版权

本文深入探讨了GPU通信技术，包括单机多卡的GPU Direct（GPUDirect Storage、GPUDirect P2P）、NVLink，以及多机多卡的RDMA（Remote Direct Memory Access）和GPUDirect RDMA。这些技术通过减少CPU参与、降低延迟和提高带宽，显著提升了GPU在AI计算中的性能和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近人工智能大火，AI 应用所涉及的技术能力包括语音、图像、视频、NLP 等多方面，而这些都需要强大的计算资源支持。AI 技术对算力的需求是非常庞大的，虽然 GPU 的计算能力在持续提升，但是对于 AI 来说，单卡的计算能力就算再强，也是有极限的，这就需要多 GPU 组合。而 GPU 多卡的组合，主要分为单个服务器多张 GPU 卡和多个服务器，每个服务器多张卡这两种情况，无论是单机多卡还是多机多卡，GPU 之间需要有超强的通信支持。接下来，我们就来聊聊 GPU 通信技术。

单机多卡GPU通信

GPU Direct

GPU Direct 是 NVIDIA 开发的一项技术，可实现 GPU 与其他设备（例如网络接口卡 (NIC) 和存储设备）之间的直接通信和数据传输，而不涉及 CPU。

传统上，当数据需要在 GPU 和另一个设备之间传输时，数据必须通过 CPU，从而导致潜在的瓶颈并增加延迟。使用 GPUDirect，网络适配器和存储驱动器可以直接读写 GPU 内存，减少不必要的内存消耗，减少 CPU 开销并降低延迟，从而显著提高性能。GPU Direct 技术包括 GPUDirect Storage、GPUDirect RDMA、GPUDirect P2P 和 GPUDirect 视频。