【30天精通Prometheus：一站式监控实战指南】第20天：dcgm-exporter从入门到实战：安装、配置详解与生产环境搭建指南，超详细

原创 已于 2025-03-02 21:01:56 修改 · 2.9k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#prometheus #运维 #exporter #运维监控 #dcgm-exporter #NVDIA

于 2024-06-06 20:04:17 首次发布

亲爱的读者们👋

  欢迎加入【30天精通Prometheus】专栏！📚 在这里，我们将探索Prometheus的强大功能，并将其应用于实际监控中。这个专栏都将为你提供宝贵的实战经验。🚀

  Prometheus是云原生和DevOps的核心监控工具，我们将从基础概念开始，逐步涵盖配置、查询、告警和可视化。💪

  在接下来的30天里，我们将解锁Prometheus的实战技巧，通过案例和分享，助你深入理解其工作原理。📆

  目标：30天后，你将熟练掌握Prometheus，为未来的项目挑战做好准备！💯

  这是一段精彩旅程，期待你的加入！🎉

一、dcgm-exporter概述📘

定义
  dcgm-exporter是一个用于将NVIDIA GPU监控数据导出为Prometheus格式的工具。它能够实时地收集GPU相关的各种指标数据，如温度、功耗、显存使用率等，并将其转换为Prometheus可以理解的格式，以便进行进一步的可视化和告警设置。

功能
  实时数据收集：dcgm-exporter能够实时地收集NVIDIA GPU的各项指标数据，包括但不限于温度、功耗、显存使用率、运算性能等。

  数据格式化：收集到的数据会被格式化为Prometheus所需的格式，这使得数据可以轻松地集成到现有的监控系统中。

  自定义指标：用户可以根据自己的需求，通过CSV文件配置自定义收集的GPU指标，满足特定的监控需求。

  安全性保障：支持TLS加密和基本身份验证，确保监控数据在传输和存储过程中的安全性。

应用场景
  云环境监控：在Kubernetes或OpenStack等云环境中，dcgm-exporter可以帮助运维人员实时监测GPU资源的使用情况，从而实现资源的智能调度和优化配置。

  深度学习训练监控：在进行深度学习训练时，dcgm-exporter可以持续监控GPU的负载、温度和其他关键指标，帮助研究人员预防GPU过热，优化训练效率。

  高性能计算(HPC)环境：对于需要进行大量GPU计算的任务，如气象模拟或物理仿真，dcgm-exporter能够提供实时的性能反馈，有助于及时发现潜在问题、进行故障排查和性能调优。

二、安装dcgm-exporter💾

注意事项和常见问题
  1.环境配置：确保系统已安装NVIDIA GPU驱动和CUDA工具包，因为dcgm-exporter依赖于这些组件来访问GPU信息。检查操作系统是否兼容，并确保满足dcgm-exporter运行的最低要求。

  2.依赖安装：在安装dcgm-exporter之前，需要先安装NVIDIA Data Center GPU Manager (DCGM)，因为它是dcgm-exporter的基础。如果计划将dcgm-exporter与Prometheus集成，确保Prometheus服务器已正确配置并运行。

  3.版本兼容性：选择与您的GPU驱动和CUDA版本兼容的dcgm-exporter版本。定期检查并应用官方发布的更新，以确保系统的安全性和性能。

2.1 访问dcgm-exporter官方网站 🌐

2.2 选择适合的版本🔍

  • 在下载页面，你将看到不同操作系统的dcgm-exporter二进制包。根据你的操作系统选择适合的版本。例如，如果你使用的是Linux 64位系统，就选择dcgm-exporter-3.3.5-3.4.1.tar.gz（其中x.x.x是版本号）。

2.3 下载dcgm-exporter⬇️

  • 点击所选版本的下载链接，将dcgm-exporter的二进制包下载到你的本地计算机。

2.4 解压安装包📂

  • 将下载的dcgm-exporter压缩包解压到你想要安装的目录。你可以使用命令行工具（如tar）来完成这个步骤。解压后，你将看到一个名为dcgm-exporter-3.3.5-3.4.1的目录，其中包含dcgm-exporter的二进制文件和其他相关文件。
tar -xzf dcgm-exporter-3.3.5-3.4.1.tar.gz

2.5 安装GO环境

wget https://golang.google.cn/dl/go1.21.1.linux-amd64.tar.gz

tar xvf go1.21.1.linux-amd64.tar.gz -C /usr/local/

mkdir /usr/local/gopath

cat >> /etc/profile <<EOF
export GOROOT=/usr/local/go
export GOPATH=/usr/local/gopath
export PATH=\$PATH:\$GOROOT/bin
export GO111MODULE="on" # 开启 Go moudles 特性
export GOPROXY=https://goproxy.cn,direct # 安装 Go 模块时，国内代理服务器设置
EOF

2.6 运行dcgm-exporter🚀

  • 进入解压后的目录，并运行dcgm-exporter服务器。在Linux下，你可以使用如下命令。如果一切正常，你应该能在终端看到dcgm-exporter的启动日志。
cd dcgm-exporter-3.3.5-3.4.1

make binary

make install


./dcgm-exporter --address 0.0.0.0:9400 -f etc/default-counters.csv

三、dcgm-exporter指标和配置详解📖

  • 黑色：作为默认文本颜色。
  • 绿色：表示常规配置项
  • 橙色：表示具有互斥参数的配置项 / 建议开启（根据自己的场景确定需求）
  • 蓝色：不重要的配置项 / 建议不开启
  • 红色：表示关键信息和警告 / 最好开启

注意：

  • 1.相关参数配置建议仅供参考，具体要以自己生产的实际需要自行配置。
  • 2.以下配置参数介绍是基于dcgm-exporter-3.3.5-3.4.1版本说明的，其它版本会有不同。

3.1 dcgm-exporter.service

  • - -collectors value, -f value
      指定dcgm-exporter需要收集的指标类型。可以通过这个参数来定义他们想要监控和收集哪些特定的NVIDIA GPU指标。例如，可以指定收集GPU利用率、内存使用情况、温度等具体指标。通过传递一个或多个收集器的名称，dcgm-exporter将仅限于导出这些指定收集器的指标。如果不设置此参数，dcgm-exporter会默认收集所有可用的指标
  • - -address value, -a value
      指定dcgm-exporter监听的地址
  • - -collect-interval value, -c value
      定义dcgm-exporter从NVIDIA GPU设备收集指标的频率。它是以秒为单位的时间间隔，指定dcgm-exporter多久查询一次GPU状态并更新其内部指标数据
  • - -kubernetes, -k
      此参数表示dcgm-exporter运行在Kubernetes环境中，并会启用与Kubernetes相关的特性和集成。当在Kubernetes集群中部署dcgm-exporter时，通常会设置此标志
  • - -use-old-namespace, -o
      如果在旧版本的Kubernetes或某些特定配置下运行，并且需要兼容旧的命名空间格式，可以使用此参数
  • - -cpu-devices value, -p value
      通过此参数，可以指定要监控的CPU设备。在多CPU或多核系统的环境中特别有用，可以更精确地监控和收集特定CPU或CPU核心的性能数据
  • - -configmap-data value
      当dcgm-exporter在Kubernetes环境中运行时，用于从ConfigMap中加载配置数据。ConfigMap是Kubernetes中用于存储配置信息的资源对象，通过此参数，dcgm-exporter可以灵活地从ConfigMap中读取配置，无需硬编码或手动设置
  • - -remote-hostengine-info value, -r value
      允许dcgm-exporter从远程主机引擎获取信息。在某些分布式或集群环境中，GPU资源可能分布在多个物理或虚拟节点上，此参数使得dcgm-exporter能够跨节点收集GPU信息
  • - -kubernetes-gpu-id-type value
      GPU可以以不同的方式标识，例如UUID、索引或其他唯一标识符。此参数允许指定Kubernetes中GPU的ID类型，以确保dcgm-exporter能够正确地识别和关联GPU资源
  • - -devices value, -d value
      允许指定要监控的GPU设备。可以提供一个或多个GPU设备的标识符，这样dcgm-exporter就只会收集这些指定设备的指标数据。在多GPU系统中特别有用，当只对某些特定的GPU设备感兴趣时，可以通过此参数进行精确监控
  • - -no-hostname, -n
      设置此参数后，dcgm-exporter在导出指标时将不会包含主机名。默认情况下，dcgm-exporter可能会将主机名作为标签添加到导出的指标中，以便更好地识别和区分不同主机的数据。但在某些场景下，可能希望隐藏或省略主机名信息，此时可以使用此参数
  • - -switch-devices value, -s value
      允许用户指定一个设备切换策略。在某些复杂的系统中，可能存在多个GPU设备，并且这些设备可能在不同的时间或条件下需要被切换或选择。通过设置此参数，用户可以定义如何在这些设备之间进行切换，以满足特定的监控需求
  • - -fake-gpus
      当设置此参数时，dcgm-exporter将模拟GPU设备的存在和指标数据。通常用于测试或开发环境，在没有实际GPU硬件的情况下模拟GPU监控数据的生成和导出。这样开发者可以在没有物理GPU的情况下进行开发和测试
  • - -web-config-file value
      允许用户指定一个Web配置文件，该文件包含dcgm-exporter的Web界面相关配置。通过此配置文件，用户可以自定义Web界面的外观、功能以及行为等。对于需要自定义或扩展dcgm-exporter Web界面来说非常有用
  • - -xid-count-window-size value, -x value
      设置XID错误计数的窗口大小。XID错误是NVIDIA GPU的一种特定错误类型，该参数定义在一个时间窗口内记录和报告的XID错误数量。通过调整这个窗口大小，用户可以更精细地控制对XID错误的监控和报告
  • - -replace-blanks-in-model-name, --rbmn
      当GPU的模型名称中包含空格时，启用此选项将会替换掉这些空格。有助于在处理和报告GPU信息时避免潜在的格式问题或解析错误，确保数据的准确性和一致性
  • - -clock-events-count-window-size value
      用于设置时钟事件计数的窗口大小。时钟事件可能与GPU的时钟频率调整相关，这个窗口大小决定了在一段时间内记录和报告的时钟事件数量，帮助大家更好地理解和分析GPU的时钟行为
  • - -enable-dcgm-log
      启用此参数将开启DCGM的日志记录功能
  • - -dcgm-log-level value
      设置DCGM日志的记录级别。用户可以根据需要选择不同级别的日志详细程度，例如DEBUG、INFO、WARNING、ERROR等。有助于控制日志输出的内容量和详细程度，便于用户根据需要查看和分析日志信息
  • - -pod-resources-kubelet-socket value
      在Kubernetes环境中，此参数用于指定kubelet的Pod资源套接字的路径。dcgm-exporter通过这个套接字与kubelet进行通信，以获取分配给Pod的GPU设备信息
  • - -web-systemd-socket
      当dcgm-exporter作为systemd服务运行时，启用此参数将使其通过systemd的套接字激活功能来提供Web界面。这意味着当外部请求访问dcgm-exporter的Web界面时，systemd会自动启动相应的服务来处理这些请求

四、实战演练：生产环境搭建指南🔨

4.1 创建普通用户管理dcgm-exporter👤

useradd deploy

4.2 解压dcgm-exporter.tar.gz📦

注意:
  我的是x86，所以使用dcgm-exporter-3.3.5-3.4.1.tar.gz，您可以使用uname -a命令查看系统架构

mkdir /home/deploy/dcgm-exporter

tar xvf dcgm-exporter-3.3.5-3.4.1.tar.gz 

cd dcgm-exporter-3.3.5-3.4.1

make binary

make install

cp -a dcgm-exporter /home/deploy/dcgm-exporter/
cp -a etc/default-counters.csv /home/deploy/dcgm-exporter/

4.3 将dcgm-exporter集成到Prometheus配置中✂️

  将dcgm-exporter集成到Prometheus配置中，确保数据能够正常采集。编辑Prometheus的配置文件（通常是prometheus.yml），在scrape_configs部分添加dcgm-exporter的配置。告诉Prometheus将采集dcgm-exporter:9400 的数据。

  - job_name: 'dcgm-exporter'
    static_configs:
      - targets:
      - targets: ["localhost:9400 "]
        labels:
          exporter: dcgm-exporter

4.4 编辑dcgm-exporter.service文件📝

cat > /etc/systemd/system/dcgm-exporter.service <<EOF
[Unit]
Description=Dcgm exporter
After=network.target

[Service]
Type=simple
User=deploy
Group=deploy
ExecStart=/home/deploy/dcgm-exporter/dcgm-exporter \
-f /home/deploy/dcgm-exporter/default-counters.csv \
--address 0.0.0.0:9400
ExecReload=/bin/kill -HUP
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

4.5 启动dcgm-exporter.service🔌

sudo systemctl daemon-reload

sudo systemctl enable --now dcgm-exporter.service

4.6 查看服务是否正常启动🔍

# 查看service服务是否启动
sudo systemctl status dcgm-exporter.service

# 查看端口是否存在
sudo ss -ntulp | grep 9400

相关资料下载地址📚

模型监控云原生方案：AI应用架构师的实践（K8s+Prometheus+Grafana）
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
08-01 906
AI模型的"生命周期"不是"训练→部署"就结束——上线后的"健康管理"才是考验架构师能力的关键。性能瓶颈、数据漂移、精度衰退；如何用K8s+Prometheus+Grafana搭建可扩展、可观测、可报警的监控体系；如何将监控数据转化为"行动指令"（比如自动扩缩容、触发重新训练）。范围覆盖：单K8s集群内的模型服务监控，支持TensorFlow/PyTorch等常见框架。故事引入：用"AI外卖店"的例子讲清模型监控的必要性；核心概念：用"餐厅角色"比喻K8s/Prometheus/Grafana。
多模型部署之后怎么测？怎么监控？稳定性 × 负载监控 × 故障定位一站式实战指南
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-04 1269
在国产大模型多模型部署落地后，是否遇到这些问题：显存突然爆掉服务挂了？模型没响应但日志什么都没有？多用户请求互相干扰？本篇从实战角度出发，手把手带你构建一整套「测试 + 监控 + 告警」闭环体系，包括： 多模型健康检查与压测脚本编写（支持 locust / shell） GPU/显存/内存监控搭建（Prometheus + dcgm-exporter） 自动异常捕捉与企业微信实时告警（loguru + WebHook） 全链路可观测结构图与推荐指标组合
基于DCGM+Prometheus+Grafana的GPU监控方案
Pretend的博客
10-10 5035
基于DCGM（NVIDIA 数据中心GPU管理器）、Prometheus 和 Grafana 的GPU监控方案提供了一种全面的方式来跟踪和实时可视化GPU的使用和性能指标。通过DCGM收集详细的NVIDIA GPU遥测数据，并将其导出到Prometheus进行存储和处理，最后使用Grafana通过直观的仪表板展示这些数据，达到下图所示的效果。
如何快速部署DCGM-Exporter：GPU性能监控的终极指南
最新发布
gitblog_00083的博客
10-26 365
DCGM-Exporter是一款基于NVIDIA DCGM技术的GPU指标导出工具，专为Prometheus监控系统设计，能够实时采集并报告GPU性能数据。无论是单机环境还是Kubernetes集群，它都能帮助用户轻松掌握GPU运行状态，优化资源利用效率。 ## ???? 为什么选择DCGM-Exporter？ 在AI训练、深度学习和高性能计算场景中，GPU资源的高效监控至关重要。DCGM-Exp...
nvidia 监控
怨行客
02-07 2003
关于hpa的相关behavior配置，https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/#configurable-scaling-behavior。
GPU监控工具DCGM
7B_Geek的博客
02-12 6423
是专为数据中心设计的GPU监控与管理工具，支持实时监控、性能分析和自动化运维。
DCGM-Exporter 安装 显卡监控 Prometheus
mixboot
02-17 5394
DCGM-Exporter 安装1.使用docker方式2.查看显卡参数 1.使用docker方式 docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1.1-ubuntu18.04 # docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1.1-ubuntu18.04 Unable to find image 'nvi
DCGM Exporter
process的博客
02-16 2614
写在前面：健康检查：https://docs.nvidia.com/datacenter/dcgm/dcgm-user-guide/feature-overview.html#background-health-checks其实我想找到能够检测gpu error 不能使用的metrics，但是没有找到，呜呜呜呜呜。寻求解决方案，欢迎留言一、背景因为gpu集群越来越大，为及时发现故障需要设置gpu物理告警。二、相关方法论1、dcgm-exporter是能够拿到gpu的使用量、温度、一些ecc错误数的指标。但是
异构计算环境下的 AI 推理资源池化与容器调度体系构建实战
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-31 1146
在企业级 AI 推理系统逐步迈入“异构融合”阶段的背景下，如何高效整合 GPU、NPU、CPU 等计算资源，并在统一容器平台下实现动态调度、弹性伸缩和性能隔离，成为部署成本与运维效率的关键挑战。本文结合 2025 年最新生产实践，全面拆解异构计算环境中的资源池化设计方案、容器编排调度机制、NUMA 拓扑感知优化与 Serverless 调度架构演进路径，深入解析如何以 Kubernetes 为核心，构建具备多类型设备感知、多模型复用与动态负载控制能力的异构 AI 推理平台，助力大模型高效落地与成本控制。
AI应用架构师经验：企业AI资源优化的3个职业发展建议
AI 领航者的博客
07-28 839
在企业AI应用规模爆发式增长的今天，资源浪费与效率低下已成为制约AI价值释放的关键瓶颈。本文基于资深AI应用架构师的一线经验，深入探讨企业AI资源优化的核心挑战，并提出3个战略性职业发展建议：构建AI资源效能评估体系、掌握混合云AI架构设计、建立AI资源治理与自动化框架。通过15个真实案例解析、8个实用工具指南和12个实施模板，为AI应用架构师提供一套系统化的资源优化方法论，帮助你在提升企业AI投资回报率的同时，塑造不可替代的职业竞争力。
AI训练在AI算力网络与通信中的训练环境搭建
AI天才研究院
07-07 1108
延迟(Latency)：梯度和参数同步的通信延迟直接延长训练时间，在大规模集群中可能成为主导开销带宽(Lbandwidth)：随着GPU数量增加，通信带宽需求呈超线性增长，形成"带宽墙"瓶颈可扩展性(Lscalability)：传统架构在集群规模超过一定阈值后出现性能饱和甚至下降此外，还需解决资源异构性、故障恢复、能效优化和成本控制等关键问题。AI训练环境的搭建已从简单的GPU集群配置发展为涉及算力网络、通信优化、分布式算法和系统管理的复杂工程挑战。
资源收集器：使用dcgm-exporter，将GPU资源过滤转换
03-04
资源收集者 使用dcgm-exporter，将GPU资源过滤导出（基于kubernetes平台之上）
Docker 环境下 GPU 监控实战：使用 Prometheus 实现 DCGM Exporter 部署与 GPU 性能监控
敲代码别忘了喝上一杯凉白开。
10-09 2866
本文介绍了如何在 Docker 环境下，通过 Prometheus 和 DCGM Exporter 实现对 GPU 资源的监控。文章首先展示了如何使用 `nvidia-smi` 查看 GPU 信息，并提供了通过 Docker run 和 Docker Compose 部署 DCGM Exporter 的详细步骤。接着，文章还解决了部署过程中可能遇到的 NVML 初始化错误，指导用户安装 NVIDIA 容器工具包，确保 GPU 监控顺利进行。最后，用户可以通过 Prometheus 配置抓取 GPU 性能指标
DCGM-Exporter 安装与使用教程
gitblog_00996的博客
08-09 2331
DCGM-Exporter 安装与使用教程 dcgm-exporterNVIDIA GPU metrics exporter for Prometheus leveraging DCGM项目地址:https://gitcode.com/gh_mirrors/dc/dcgm-exporter 1. 项目目录结构及介绍 在DCGM-Exporter项目中，主要目录结构如下： ./cmd/: 包含可...
【亲测免费】 DCGM-Exporter 使用教程
gitblog_00603的博客
08-09 1878
DCGM-Exporter 是一个基于 NVIDIA DCGM 的 Go API 工具，旨在帮助用户收集 GPU 指标，理解工作负载行为或监控集群中的 GPU。该项目使用 Go 语言编写，并通过 HTTP 端点（/metrics）暴露 GPU 指标，以便于如 Prometheus 等监控解决方案的使用。 ## 项目快速启动 ### 安装与运行 首先，确保 Docker 已安装在你的系统上。然...
DCGM Exporter结合Prometheus实现GPU性能监控
强子的博客
06-26 920
本指南将指导你完成从获取 NGC API Key 到最终在 Grafana 中可视化 GPU 指标的全过程，包括如何正确地拉取和运行 DCGM Exporter 容器，并将其指标通过 Prometheus 抓取并展示。
k8s集群中部署dcgm-exporter收集GPU指标
m0_62464865的博客
03-10 1118
部署dcgm-exporter的DaemonSet和Service，确保Service有正确的标签和端口。创建ServiceMonitor，选择dcgm-exporter的Service，并指定端口。检查Prometheus的targets页面，确认dcgm-exporter是否被正确发现和抓取。可能需要调整Prometheus的RBAC或网络策略，确保访问权限。
dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控
HLGsteel的博客
06-06 3543
使用dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控
【GPU监控】Gpu-dcgm-exporter 监控
zerotoall的博客
12-18 2055
【GPU监控】Gpu-dcgm-exporter 监控
使用dcgm-exporter监控
07-16
<think>首先，用户的问题是：“我想用户意图是使用dcgm-exporter进行GPU指标监控 请问如何使用dcgm-exporter监控GPU性能指标”。用户提到了引用[1]、[2]、[3]，这些是关于Kubernetes中使用NVIDIA DCGM-Exporter监控GPU的引用。用户意图很明确：如何使用dcgm-exporter来监控GPU性能指标。 我的回答需要遵循系统级指令： - 所有行内数学表达式用$...$格式。 - 独立公式用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考的引用： - [^1]: 描述了在Kubernetes中使用DCGM-Exporter、Prometheus和Grafana设置GPU监控。 - [^2]: 提供了dcgm-exporter采集的指标，如GPU使用率、显存使用率等。 - [^3]: 讨论了如何通过指标评估GPU是否需要扩容。 用户意图是使用dcgm-exporter监控GPU性能指标，所以我需要提供一个逐步指南，基于这些引用。 回答结构： 1. **介绍**：简要解释dcgm-exporter是什么及其作用。 2. **步骤**：详细说明如何设置和使用dcgm-exporter监控GPU指标。 - 包括安装、配置、查看指标等。 - 引用相关部分来支持。 3. **关键指标解释**：解释dcgm-exporter提供的常见指标，如GPU使用率、显存使用率等。 4. **监控工具集成**：提到如何与Prometheus和Grafana集成，以可视化监控。 5. **生成相关问题**：在末尾添加相关问题，以帮助用户深入。 生成相关问题： - 基于用户的问题和引用，生成几个相关问题。 - 例如： 1. 如何配置dcgm-exporter在Kubernetes中部署？ 2. 如何解读dcgm-exporter提供的GPU指标？ 3. 如何基于监控数据优化GPU资源？ 确保回答真实可靠：基于提供的引用和一般知识。引用是真实的，所以我可以直接引用它们。 使用中文回答：整个回答用中文书写。 数学表达式：用户的问题是关于GPU监控的，可能不涉及数学公式，但如果需要，我会使用$...$或$$...$$。例如，如果提到百分比或其他简单计算，可以用行内数学格式。但在这个上下文中，可能不需要复杂的数学。 现在，构建回答大纲： 1. **引言**：解释dcgm-exporter并概述步骤。 2. **步骤1：安装和部署dcgm-exporter** - 参考引用[1]和[2]。 3. **步骤2：配置指标采集** - 解释metrics-configmap.yaml中的指标定义，如DCGM_FI_DEV_GPU_UTIL等。 4. **步骤3：集成监控工具** - 与Prometheus和Grafana集成，参考引用[1]。 5. **步骤4：查看和解读指标** - 解释关键指标，参考引用[2]和[3]。 6. **结论**：总结好处。 7. **相关问题**：添加3-4个相关问题。 在回答中引用段落末尾添加引用标识，例如：[^1] 最终输出格式： - 回答主体。 - §§相关问题§§部分。</think>### 如何使用dcgm-exporter监控GPU性能指标 dcgm-exporter是NVIDIA提供的工具，用于收集和暴露GPU性能指标，支持在Kubernetes或其他环境中监控GPU的健康状态、使用率和资源消耗。以下是一个结构清晰的逐步指南，基于真实可靠的实践（参考提供的引用），帮助您快速上手。整个过程包括部署、配置指标采集、集成监控工具和解读指标。 #### 1. **安装和部署dcgm-exporter** dcgm-exporter需要部署在运行NVIDIA GPU的节点上。在Kubernetes环境中，您可以使用Helm或直接应用YAML文件部署。以下是关键步骤： - **前提条件**：确保节点已安装NVIDIA GPU驱动和容器运行时（如Docker或containerd）。 - **部署方法**：使用Helm chart简化安装（推荐），或手动创建Deployment和ConfigMap。 - 示例Helm命令： ```bash helm repo add nvidia https://helm.ngc.nvidia.com/nvidia helm install dcgm-exporter nvidia/dcgm-exporter ``` 这将自动部署dcgm-exporter DaemonSet，确保每个GPU节点都有exporter运行[^1]。 - **验证部署**：运行`kubectl get pods -n <namespace>`检查exporter Pod是否正常运行。 #### 2. **配置指标采集** dcgm-exporter通过ConfigMap定义要采集的GPU指标。您需要自定义metrics-configmap.yaml文件，指定关注的性能指标。参考引用[2]，关键指标包括： - **GPU使用率**：`DCGM_FI_DEV_GPU_UTIL`，表示GPU计算单元的利用率百分比（例如，$ \text{利用率} = \frac{\text{实际计算时间}}{\text{采样周期}} \times 100\% $），帮助识别计算瓶颈[^2]。 - **显存使用率**：`DCGM_FI_DEV_MEM_COPY_UTIL`，表示显存带宽利用率百分比。 - **显存用量**：`DCGM_FI_DEV_FB_FREE`（空闲显存，单位MB）和`DCGM_FI_DEV_FB_USED`（已用显存，单位MB），用于监控显存资源。 示例ConfigMap片段： ```yaml # metrics-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: dcgm-exporter-config data: metrics: | - name: DCGM_FI_DEV_GPU_UTIL type: gauge help: "GPU utilization (%)" - name: DCGM_FI_DEV_MEM_COPY_UTIL type: gauge help: "Memory utilization (%)" - name: DCGM_FI_DEV_FB_FREE type: gauge help: "Free framebuffer memory (MiB)" - name: DCGM_FI_DEV_FB_USED type: gauge help: "Used framebuffer memory (MiB)" ``` 应用此ConfigMap后，dcgm-exporter将暴露这些指标，供监控系统抓取[^2]。 #### 3. **集成监控工具（Prometheus和Grafana）** dcgm-exporter本身只暴露指标，需与Prometheus（数据存储）和Grafana（可视化）集成来实现完整监控： - **Prometheus配置**：在Prometheus的配置文件中添加dcgm-exporter作为抓取目标。 ```yaml # prometheus.yml scrape_configs: - job_name: 'dcgm-exporter' static_configs: - targets: ['dcgm-exporter-service:9400'] # dcgm-exporter的默认端口 ``` 启动Prometheus后，访问Prometheus UI（如http://localhost:9090）查询指标，例如`DCGM_FI_DEV_GPU_UTIL`[^1]。 - **Grafana可视化**：导入预制的NVIDIA DCGM仪表盘（如ID 12239），或创建自定义面板。例如： - GPU使用率面板：显示实时利用率曲线。 - 显存面板：比较`DCGM_FI_DEV_FB_USED`和`DCGM_FI_DEV_FB_FREE`，识别内存泄漏。 这样，您可以实时监控GPU性能，并设置告警（如利用率超过80%）[^1]。 #### 4. **查看和解读GPU指标** 部署完成后，通过Prometheus或Grafana查看指标。关键指标解读： - **GPU利用率（DCGM_FI_DEV_GPU_UTIL）**：如果持续高于70-80%，表示GPU计算负载高，可能需要优化或扩容[^3]。 - **显存使用率（DCGM_FI_DEV_MEM_COPY_UTIL）**：高值（例如>90%）表示显存带宽瓶颈。 - **显存用量（DCGM_FI_DEV_FB_USED/FREE）**：如果`DCGM_FI_DEV_FB_FREE`持续低于总显存的10%，表明显存不足，需考虑扩容GPU资源[^3]。 综合这些指标，您可以评估GPU的忙碌程度。例如，如果GPU利用率高但显存空闲，可能应用是计算密集型而非内存密集型[^3]。 #### 5. **好处与最佳实践** 通过此方案，您可以： - 实时监控GPU健康状态，预防性能瓶颈。 - 优化资源分配，确保GPU高效利用（引用[1]提到“确保GPU资源的最佳利用和性能”）。 - 支持扩容决策：如引用[3]所述，指标持续高负载时，考虑添加更多GPU节点。 如果遇到问题，检查dcgm-exporter日志（`kubectl logs <pod-name>`）或验证NVIDIA驱动兼容性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刚喝yBei卡布奇诺

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值