NVIDIA 数据中心 GPU 管理器（DCGM）技术文档

NVIDIA 数据中心 GPU 管理器（DCGM）技术文档

DCGM NVIDIA Data Center GPU Manager (DCGM) is a project for gathering telemetry and measuring the health of NVIDIA GPUs 项目地址: https://gitcode.com/gh_mirrors/dc/DCGM

安装指南

对于 Ubuntu LTS 用户

1. 设置 CUDA 仓库

   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.0-1_all.deb
   sudo dpkg -i cuda-keyring_1.0-1_all.deb
   sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /"
   

2. 安装 DCGM

   sudo apt-get update && sudo apt-get install -y datacenter-gpu-manager
   

对于 Red Hat 用户

1. 设置 CUDA 仓库

   sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/cuda-rhel8.repo
   

2. 安装 DCGM

   sudo dnf clean expire-cache && sudo dnf install -y datacenter-gpu-manager
   

启动 DCGM 服务

sudo systemctl --now enable nvidia-dcgm

项目的使用说明

DCGM 能在集群环境中管理和监控 NVIDIA 数据中心的 GPU。通过以下命令可以获取系统级的 GPU 性能和健康状态：

dcgmi diagnostics --json

对于 Kubernetes 集群，可利用 dcgm-exporter 来集成并收集 GPU 的容器化环境指标。

项目API使用文档

开发者可以通过 C, Python 或 Go 使用 DCGM 的 API 进行深度集成和自定义管理。具体API调用示例和详细文档位于官方文档的最新版本中，访问地址：NVIDIA DCGM 文档。

项目构建方式

若需要从源码构建 DCGM，首先 clone 本仓库，然后按照以下步骤进行：

1. 确保安装了必要的依赖，如 git, Docker, 并配置好 Docker。
2. 导航至 ./dcgmbuild 目录，并执行 ./build.sh 来创建构建镜像。
3. 使用相同目录下的 build.sh 脚本，添加相应参数来生成所需的二进制包、tarball 或 RPM 包。

例如，生成一个非调试版的 Debian 包：

./build.sh -r --deb

测试框架运行

在成功构建后，安装 datacenter-gpu-manager-tests 包，接着转到测试文件所在目录（通常是 /usr/share/dcgm_tests 或解压后的相应路径），并执行 run_tests.sh 来运行全面的测试套件。需要注意的是，这些测试最好在具备 NVIDIA GPU 的环境下执行，且为了完整覆盖测试，推荐以root权限运行。

---

以上为 NVIDIA DCGM 技术文档概览，提供了从安装到使用的全过程指导，以及自定义构建和测试流程，确保用户能够高效地管理和监测数据中的GPU资源。

DCGM NVIDIA Data Center GPU Manager (DCGM) is a project for gathering telemetry and measuring the health of NVIDIA GPUs 项目地址: https://gitcode.com/gh_mirrors/dc/DCGM