基于DCGM+Prometheus+Grafana的GPU监控方案

最新推荐文章于 2024-10-10 21:52:45 发布
最新推荐文章于 2024-10-10 21:52:45 发布
阅读量458 收藏 18
点赞数 10
分类专栏： 分布式系统 文章标签： prometheus grafana GPU 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MrKingloveyou/article/details/142617854
版权

目录

前言

基于DCGM（NVIDIA 数据中心GPU管理器）、Prometheus 和 Grafana 的GPU监控方案提供了一种全面的方式来跟踪和实时可视化GPU的使用和性能指标。通过DCGM收集详细的NVIDIA GPU遥测数据，并将其导出到Prometheus进行存储和处理，最后使用Grafana通过直观的仪表板展示这些数据，达到下图所示的效果。
在这里插入图片描述

一、指标导出器

1、DCGM：

NVIDIA 数据中心 GPU 管理器 （DCGM） 是一套工具，用于在集群环境中管理和监控 NVIDIA 数据中心 GPU。它包括主动运行状况监控、全面诊断、系统警报和治理策略，包括电源和时钟管理。它可以由基础设施团队独立使用，并轻松集成到 NVIDIA 合作伙伴的集群管理工具、资源调度和监控产品中。

快速开始：https://github.com/NVIDIA/DCGM#ubuntu-lts:

# 设置 CUDA 网络存储库元数据，GPG 密钥：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /"

安装 DCGM:

sudo apt-get update 
sudo apt-get install -y datacenter-gpu-manager

启动 DCGM 服务:

#开机自启&立即启动
sudo systemctl --now enable nvidia-dcgm

查看是否启动：

dcgmi  -v

在这里插入图片描述

停止服务

sudo systemctl stop nvidia-dcgm

获取远程节点的信息

我在github上提了一个issue：Can DCGM achieve obtaining gpu information of another host? #133

在这里插入图片描述

默认情况下，nv-hostengine 只绑定到 127.0.0.1，因此它不会监听远程连接，也就是说无法从另一台机器获取本机信息。如果你想让它监听远程连接，需要在启动 nv-hostengine 时使用 -b 选项来指定它应该监听连接的 IP 地址。你也可以指定 -b ALL 让它监听所有网络接口上的连接。

# 停止服务
sudo systemctl stop nvidia-dcgm
# 监听所有网络接口
 sudo nv-hostengine  --service-account nvidia-dcgm -b ALL
 #获取其他节点信息
 dcgmi discovery --host 10.112.0.1 -l

在这里插入图片描述

2、 DCGM-Exporter

DCGM-Exporter 是一种基于 NVIDIA DCGM 的 Go API 的工具，允许用户收集 GPU 指标并了解工作负载行为或监控集群中的 GPU。DCGM Exporter 是用 Go 编写的，并在 HTTP 端点 （/metrics） 上公开 GPU 指标，用于监控 Prometheus 等解决方案。

快速开始：https://github.com/NVIDIA/dcgm-exporter?tab=readme-ov-file#quickstart

sudo docker run -it -d --gpus all --name dcgm -p 9400:9400 -p 9403:9403  -p 9405:9405 nvcr.io/nvidia/k8s/dcgm-exporter:3.3.0-3.2.0-ubuntu22.04 bash

进入docker：

docker start dcgm
docker exec -it dcgm  bash

收集多节点信息

  • -p 指定端口映射，默认端口号9400，将docker内的9400映射到主机内相同端口，即可在localhost：9400收集到数据，curl your-ip:9400/metrics 或者浏览器打开your-ip:9400/metrics有一系列指标说明成功收集到数据，这里增加另外两个端口映射是因为我这里有三台主机，采用每个节点启动nv-hostengine，并在收集节点上建立docker用于收集三个节点的数据的方式。
  • -a 指定数据发送的端口，
  • –r 指定数据来源，nv-hostengine用于在每个节点上发送数据，默认端口号5555
dcgm-exporter -a :9403 -r  "10.112.28.2:5555" 
dcgm-exporter -a :9405 -r  "10.112.57.233:5555" 
# 查看日志
cat /var/log/nv-hostengine.log

更改收集指标

https://github.com/NVIDIA/dcgm-exporter#changing-metrics

使用 dcgm-exporter，可以通过指定自定义 CSV 文件来配置要收集的字段。你可以在存储库中的 etc/default-counters.csv 下找到默认 CSV 文件，该文件将复制到您的系统或容器上的 /etc/dcgm-exporter/default-counters.csv，还可以使用 -f 选项指定自定义 csv 文件

dcgm-exporter -f /my-counters.csv

二、 Prometheus - From metrics to insight

Prometheus是一个开源的系统监控和警报工具包， 将其指标作为时间序列数据收集和存储，即指标信息与记录它的时间戳一起存储，以及称为标签的可选键值对。

下载链接：https://prometheus.io/download/

wget https://github.com/prometheus/prometheus/releases/download/v2.54.1/prometheus-2.54.1.linux-amd64.tar.gz
# 解压
tar -xzf prometheus-2.54.1.linux-amd64.tar.gz
# 打开
cd prometheus-2.54.1.linux-amd64.tar.gz

修改配置文件

nano prometheus.yml

按照prometheus这个示例添加job即可，包括名称和ip：port，如下图添加了DCGM_exporter,让其从localhost的三个端口获取数据（分别对应三个节点的信息，在docker内已经设置dcgm-exporter从各自的nv-hostengine收集信息）
在这里插入图片描述
启动服务：

./prometheus --config.file=./prometheus.yml

查看收集结果

浏览器打开your-ip：9090，9090为prometheus的默认端口，点击status-> targets可以查看各个job的工作状态，如图所示，dcgm-exporter在三个端口均正常工作，说明收集到三个节点的信息

在这里插入图片描述
点击graph，勾选use local time，在搜索框内输入要查询的指标，以DCGM_FI_DEV_GPU_TEMP（GPU温度）为例，点击execute查询，table是各个指标的收集结果（文本序列），而graph可以展示一段时间内的变化情况，下图为graph的展示，15min 内的 3个节点共6张GPU的温度变化。

在这里插入图片描述
虽然prometheus提供了可视化功能，但是通常与grafana结合来建立更加全面的仪表板。

三、Grafana仪表板展示

快速开始：https://grafana.com/grafana/download

在这里插入图片描述

选择版本及对应操作系统输入命令即可

sudo apt-get install -y adduser libfontconfig1 musl
wget https://dl.grafana.com/enterprise/release/grafana-enterprise_11.2.2_amd64.deb
sudo dpkg -i grafana-enterprise_11.2.2_amd64.deb

确保Grafana服务已启动并且设置为开机启动，可以使用systemd来管理Grafana服务

sudo systemctl daemon-reload
# 设置开机启动
sudo systemctl enable grafana-server
sudo systemctl start grafana-server

检查Grafana服务的状态：

sudo systemctl status grafana-server

在这里插入图片描述

浏览器打开 your-ip：3000 进入登录界面，初始用户名与密码均为admin（grafana默认端口号3000）
在这里插入图片描述

导入数据源

  • 点击 home->connections->data sources ，再选择 右上角 add new data source 添加数据源。

在这里插入图片描述

  • 选择 prometheus ， 输入名字和 server URL 即可，其他根据需求设置

在这里插入图片描述

  • 滑到最下面，点击save & test，出现绿框内容表示成功导入

在这里插入图片描述

创建仪表板

  • 直接点击绿框内的 building a dashboard 或 home->dashboards-> new dashboard来创建仪表板 ,可以直接导入别人已经创建好的，可以去grafana官网搜索相应的，这里提供一个DCGM-exporter 的 https://grafana.com/grafana/dashboards/12239-nvidia-dcgm-exporter-dashboard/
    在这里插入图片描述
  • 点击 import dashboard ，直接输入 仪表板对应ID ，点击load 即可 ，也可以在下面框内粘贴json文件加载
    在这里插入图片描述
  • 输入名字并选择数据源后 import 即可
    在这里插入图片描述
  • 正常的话，界面如下，
    在这里插入图片描述
  • 最上面的instance包含ip地址加端口号，对应prometheus配置文件中的targets，可以根据需要选择，展示部分或者全部。
    在这里插入图片描述
  • 仪表板中的每个部分为一个panel，可以直接拖动右下角来调整大小，点击右上角，view 全屏显示此panel，edit可以编辑，设置图的形状，添加指标等，remove移除在这里插入图片描述
  • 右上角 add 可以根据需要添加一个新panel
    在这里插入图片描述

更多仪表板

https://grafana.com/grafana/dashboards/
ID ：12239，15117，12639（好像不能直接用，我这边没有信息，需要针对各个panel调整一下）

Pretend ^^
关注
专栏目录
Prometheus + Grafana 快速上手
GoCoding
04-23 285
Prometheus + Grafana 快速上手，监控主机的 CPU, GPU, MEM, IO 等状态。 前提 Docker 客户端 Node Exporter 用于采集 UNIX 内核主机的数据，这里下载并解压： wget https://github.com/prometheus/node_exporter/releases/download/v1.1.2/node_exporter-1.1.2.linux-amd64.tar.gz tar xvfz node_exporter-1.1.2.li
dcgm+Prometheus+grafana+loki+promtail搭建显卡监控及日志管理系统
cynicme的博客
08-05 930
在本项目中，Promtail 扮演了一个日志代理（Agent）的角色，负责将本地日志内容收集并发送到 Loki。字段被设置为 http://loki:3100/loki/api/v1/push，这是Promtail 向 Loki 发送日志数据的 API 端点。中，所有容器通过桥接网络连接，因此 Promtail 容器能够通过容器名直接访问 Loki 容器。目录绑定，使得 Promtail 可以访问到本地日志文件。目录，从而实现 Promtail 对 DCGM Exporter 容器日志内容的抓取。
基于DCGM和Prometheus的GPU监控方案
u011619480的专栏
03-31 2900
基于DCGM和Prometheus的GPU监控方案
性能监控之 node_exporter+Prometheus+Grafana 实现主机监控
Mo小泽的技术博客
03-22 2883
文章目录一、概述二、功能三、安装1、二进制包2、docker容器3、使用 Kubernetes Operator 安装四、 node_exporter 监控指标五、配置 Prometheus六、使用 PromQL 查询监控数据七、数据可视化八、扩展知识1、推荐的exporter2、注意版本3、实现原理九、小结 一、概述 在 Prometheus 的架构设计中，Prometheus Server 并不直接服务监控特定的目标，其主要任务负责数据的收集，存储并且对外提供数据查询支持。因此为了能够能够监控到某些东
Prometheus GPU 监控
热门推荐
mixboot
06-08 2万+
Prometheus GPU 监控1，Prometheus GPU 监控 1，Prometheus GPU 监控 安装DCGM 参考： Prometheus + Grafana 监控 NVIDIA GPU DCGM 1.7.2 Downloads (December 2019)
prometheus监控gpu linux
cynicme的博客
08-01 385
进入工作环境 (base) czy@NP5570M5:~$将prometheus映射到9900端口(系统默认配置为9090端口，但9090端口被不知名进程占用)新建终端，进入grafana执行打开转发端口为3000的地址 http://localhost:3000/账号：admin密码：admin打开仪表板查看gpu指标。
监控篇之利用dcgm-exporter监控GPU指标并集成grafana大盘
小橙子的笔记屋
08-22 1074
dcgm-exporter采集器
DCGM-Exporter 安装 显卡监控 Prometheus
mixboot
02-17 4420
DCGM-Exporter 安装1.使用docker方式2.查看显卡参数 1.使用docker方式 docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1.1-ubuntu18.04 # docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1.1-ubuntu18.04 Unable to find image 'nvi
探索GPU监控新境界：DCGM-Exporter
gitblog_00551的博客
08-09 653
探索GPU监控新境界：DCGM-Exporter dcgm-exporterNVIDIA GPU metrics exporter for Prometheus leveraging DCGM项目地址:https://gitcode.com/gh_mirrors/dc/dcgm-exporter 在数据科学和高性能计算的世界里，GPU扮演着至关重要的角色。为了确保这些硬件资源的稳定性和效率，准确...
资源收集器：使用dcgm-exporter，将GPU资源过滤转换
03-04
通过以上步骤，dcgm-exporter成为了一个强大的GPU监控工具，它让Kubernetes能够更好地管理和优化GPU资源，从而提升整个系统的效率和稳定性。对于依赖GPU的深度学习任务，这样的监控能力尤为关键，可以避免资源浪费，...
二进制部署Prometheus + Grafana监控集群，及各exporter安装
sara的博客
03-24 4888
二进制部署安装prometheus+grafana，以及安装node-exporter和cAdcisor监控容器数据、mysql-exporter等
Prometheus 监控指标采集
Korbin的博客
08-13 1863
在现代分布式系统和云原生环境中，为了确保复杂的分布式系统和服务的高可用性、可靠性和性能，通常采用实时可视化监控和分析，实现故障快速响应、资源优化和安全保障，从而提升用户满意度和运营效率。在目前主流的解决方案中，Prometheus和Grafana是两个使用 Go 开发的强大开源工具，通常一起使用来实现全面的监控和可视化系统。其中Prometheus负责采集和存储监控对象的时序数据。
Prometheus+Grafana备忘
dzl84394的专栏
10-05 402
按说是/var/log/grafana/grafana.log 这个文件里面。但是我只找到了账号，密码没看到，其实账号密码都一样，都是默认admin。官网提供了几种安装方式，我用最简单的。下载一个linux的。
基于 Prometheus+Grafana+Alertmanager 搭建 K8S 云监控告警平台（附配置告警至QQ、钉钉）
misakivv的博客
10-07 1301
基于 Prometheus+Grafana+Alertmanager 搭建 K8S 云平台系统（附配置告警至QQ、钉钉）
k8s、prometheus、grafana数据采集和展示的链路流程
2401_84019227的博客
10-10 575
对于k8s节点和pod的性能和资源使用情况的监控，常用prometheus和grafana的组合来实现。metrics server监控组件定期从kubelet获取这些数据，转换成k8s API可以识别的格式。每个节点，包括master节点，都有一个kubelet组件，cAdvisor程序是kubelet组件的一部分。容器级别的数据采集是由cAdvisor程序实现。kukelet负责管理pod和容器的生命周期。kubelet负责汇总出节点级别的数据。cAdvisor采集容器级别的数据。
grafana version 11.1.0 设置Y轴刻度为1
最新发布
mixboot
10-10 53
grafana version 11.1.0 设置Y轴刻度为1
Linux云计算 |【第四阶段】RDBMS2-DAY3
小安的运维专栏
10-10 910
分库分表概述、Mycat中间件部署、分片规则（枚举法、求模法、全局表）
dcgm+prometheus
02-01
DCGM 是 NVIDIA Data Center GPU 管理工具的缩写，而 Prometheus 是一种用于监控和警报的开源工具。DCGM Prometheus 是将 DCGM 与 Prometheus 集成，以便更好地监控和管理 NVIDIA GPU 在数据中心环境中的性能和健康状况。 DCGM 提供了许多功能，包括 GPU 温度、功耗、内存使用情况、性能指标等的监控。而 Prometheus 则是一种通过 HTTP 协议来收集和存储时间序列数据的工具，它允许用户通过灵活的查询语言来查询和分析这些数据。 将 DCGM 与 Prometheus 集成，可以通过使用 Prometheus 提供的丰富的监控仪表板和警报系统来实时监控 GPU 的性能和健康状况。通过将 DCGM 的数据导出为 Prometheus 可以理解的格式，用户可以方便地将数据传输到 Prometheus 的存储数据库中，以进行持久化存储和长期分析。 使用 DCGM Prometheus，用户可以在数据中心中实时监控 GPU 使用情况，及时发现并处理 GPU 温度过高、功耗异常或内存使用超限等问题。此外，用户还可以设置警报规则，当 GPU 的性能或健康状况达到预定的阈值时，系统会自动发送警报通知用户，以便及时采取措施。 总的来说，DCGM Prometheus 结合了 DCGM 提供的 GPU 监控数据和 Prometheus 提供的强大查询和警报功能，为用户提供了一个全面的 GPU 监控和管理解决方案，帮助用户实时了解 GPU 的性能状况，保证数据中心的稳定和可靠运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Pretend ^^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值