GDRCopy 技术文档

GDRCopy 技术文档

gdrcopy A fast GPU memory copy library based on NVIDIA GPUDirect RDMA technology 项目地址: https://gitcode.com/gh_mirrors/gd/gdrcopy

GDRCopy 是一个利用 NVIDIA GPUDirect RDMA 技术实现的低延迟 GPU 内存复制库，允许CPU直接映射并访问GPU内存，非常适合需要极低延迟的数据传输场景。

安装指南

系统要求

• 硬件需求：支持 NVIDIA Data Center 或 RTX GPU（Kepler 或更新架构）。
• 驱动与CUDA版本：GPU Display Driver ≥ 418.40（ppc64le）或 ≥ 331.14（其他），CUDA ≥ 6.0。
• 操作系统：Linux x86_64, ppc64le, arm64，兼容RHEL8/9, Ubuntu20.04/22.04, SLE-15/Leap 15.x。

预准备

确保已安装DKMS（尤其是RHEL或SLE系统），以及CUDA和GPU驱动程序。

# RHEL安装DKMS
sudo yum install dkms

# SLE安装DKMS和rpmbuild
sudo zypper install dkms rpmbuild

# 根据官网指引安装CUDA和驱动
# 注意：确保安装的CUDA和驱动版本符合要求

构建与安装方法

RPM包安装

1. 准备环境和构建脚本。
2. 执行构建脚本，并使用rpm命令安装生成的包。

cd packages
CUDA=<cuda路径> ./build-rpm-packages.sh
sudo rpm -Uvh gdrcopy-*.*

DEB包安装

对于Debian系统，需要先安装必要的编译工具，然后执行DEB包的构建脚本并安装。

sudo apt install build-essential devscripts debhelper fakeroot pkg-config dkms
cd packages
CUDA=<cuda路径> ./build-deb-packages.sh
sudo dpkg -i *.deb

从源码编译安装

1. 安装必要的编译工具有可能还需要CUDA的路径设置。
2. 直接编译并安装。

make prefix=<安装目录> CUDA=<cuda路径> all install
sudo ./insmod.sh # 加载内核模块

使用说明

GDRCopy提供了几种测试应用程序来验证安装和性能：

• gdrcopy_sanity：单元测试和驱动检查。
• gdrcopy_copybw：测量特定缓冲区大小的读写带宽。
• gdrcopy_copylat：计算不同缓冲区大小的读写延迟。
• gdrcopy_apiperf：API调用的延迟基准测试。
• gdrcopy_pplat：GPU与CPU之间的往返延迟测试。

运行这些测试以评估GDRCopy的性能。

项目API使用文档

GDRCopy的核心在于提供低开销的CPU到GPU或反之的内存复制功能。具体API使用细节需参考GDRCopy的官方文档或头文件中的注释。基本流程通常涉及以下几个步骤：

1. 初始化：使用GDRCopy提供的初始化函数。
2. 分配GPU内存：通过CUDA接口或其他方式分配。
3. 映射GPU内存到CPU地址空间：调用GDRCopy的相关映射函数。
4. 执行复制操作：使用GDRCopy的API进行数据复制。
5. 解除映射与释放资源：完成任务后，记得清理资源以避免泄漏。

由于具体的API详情较长且复杂，建议直接查看GDRCopy的官方文档或源码中的示例以获取完整的API调用说明和最佳实践。

结论

GDRCopy为高性能计算领域提供了关键的优化手段，特别是在处理大量GPU与CPU间的数据交换时。正确配置和使用GDRCopy可以显著提升系统的整体效率，特别是对那些对延迟敏感的应用至关重要。开发者应详细阅读官方文档，以确保最大化其潜能。

gdrcopy A fast GPU memory copy library based on NVIDIA GPUDirect RDMA technology 项目地址: https://gitcode.com/gh_mirrors/gd/gdrcopy