Prometheus GPU 监控

最新推荐文章于 2024-08-01 00:19:15 发布
最新推荐文章于 2024-08-01 00:19:15 发布
阅读量830 收藏 2
点赞数
文章标签： python ubuntu 开发语言
原文链接：https://blog.csdn.net/u010953692/article/details/106575802
版权
本文详细介绍了如何使用Prometheus监控GPU，包括安装gpu-monitoring-tools，设置dcgm-exporter开机启动，修改Prometheus配置，利用Grafana展示监控数据，并特别提到了监控面板9957和12027以及GPU-Nodes-Metrics-Nvidia12639的使用。
摘要由CSDN通过智能技术生成

Prometheus GPU 监控
1，Prometheus GPU 监控
2，安装gpu-monitoring-tools
2.1，设置`dcgm-exporter`开机启动
3，Prometheus修改配置
4，grafana
5，使用监控面板`9957`可以切换节点
6，Grafana设置
7，使用`12027`
8，使用GPU-Nodes-Metrics-Nvidia 12639

https://blog.csdn.net/u010953692/article/details/106575802

开心战神
关注
gpu-exporter+prometheus监控
07-24
gpu-exporter+prometheus监控
基于Prometheus的GPU服务器运维监控系统.pdf
09-25
基于Prometheus的GPU服务器运维监控系统.pdf
prometheus监控gpu linux
cynicme的博客
08-01 411
进入工作环境 (base) czy@NP5570M5:~$将prometheus映射到9900端口(系统默认配置为9090端口，但9090端口被不知名进程占用)新建终端，进入grafana执行打开转发端口为3000的地址 http://localhost:3000/账号：admin密码：admin打开仪表板查看gpu指标。
基于DCGM和Prometheus的GPU监控方案
u011619480的专栏
03-31 2945
基于DCGM和Prometheus的GPU监控方案
Prometheus监控搭建过程
wyf_wyf_001的博客
05-26 734
点击DATA SOURCES----Prometheus----Name(填写名称Prometheus)-----Prometheus server ULR(http://192.168.152.13:9090)---save & test。**告警时间**: {{ dateInZone "2006.01.02 15:04:05" (.StartsAt) "Asia/Shanghai" }}#添加监控项targets：["192.168.152.13:9100","192.168.152.14"]
使用 Prometheus 在 KubeSphere 上监控 KubeEdge 边缘节点（Jetson） CPU、GPU 状态
KubeSphere
04-11 1114
基于 KubeEdge，我们在 KubeSphere 的前端界面上实现了边缘设备的可观测性，包括 GPU 信息的可观测性。对于边缘节点 CPU、内存状态的监控，首先修改亲和性，让 KubeSphere 自带的 node-exporter 能够采集边缘节点监控数据，接下来利用 KubeEdge 的 EdgeMesh 将采集的数据提供给 KubeSphere 的 Prometheus。这样就实现了 CPU、内存信息的监控。
prometheus监控gpu
qq_38069909的博客
09-13 1114
prometheus监控gpu
dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控
HLGsteel的博客
06-06 3179
使用dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控
nvidia_gpu_prometheus_exporter：NVIDIA GPU Prometheus导出器
02-03
NVIDIA GPU Prometheus导出器 这是用于导出NVIDIA GPU指标的 。 它使用（NVML）的，这是一个基于C的API，可用于监视NVIDIA GPU设备。 与其他一些类似的出口商不同，它不调用二进制文件。 建造 该存储库包含nvml.h ，因此构建环境没有特殊要求。 go get应该能够构建导出器二进制文件。 go get github.com/mindprince/nvidia_gpu_prometheus_exporter 跑步 出口商需要满足以下条件： 访问NVML库（ libnvidia-ml.so.1 ）。 访问GPU设备。 为了确保导出器可以访问NVML库，可以将它们添加到共享库的搜索路径中。 或设置LD_LIBRARY_PATH指向其位置。 默认情况下，度量标准在端口9445上公开。 可以使用-web.listen-address标志进行更新。 在容器内运行 Docker Hub上有一个可在上使用的Docker 如果要在容器中运行导出程序，则需要执行以下操作以使容器可以访问NVML库： -e LD_LIBRARY_PATH=<path-w
gpu-monitoring-tools：用于在Linux上监视NVIDIA GPU的工具
02-10
NVIDIA GPU监控工具 该存储库包含Golang绑定和DCGM-Exporter，用于在Kubernetes中收集GPU遥测。 绑定 为以下两个库提供了Golang绑定： 是基于C的API，用于监视和管理NVIDIA GPU设备。 是一组用于在集群环境中管理和监视NVIDIA GPU的工具。 它是一种低开销的工具套件，可在每个主机系统上执行各种功能，包括主动运行状况监视，诊断，系统验证，策略，电源和时钟管理，组配置和计费。 您还将在此存储库中找到这两个绑定的样本。 DCGM出口商 该存储库还包含DCGM-Exporter。 它利用为GPU指标导出。 快速开始 要在GPU节点上收集指标，只需启动dcgm-exporter容器： $ docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1
gpu-monitoring-tools.tar
07-08
git上的版本已经更新，文中方法已经不一定适用。文中使用的gpu-monitoring-tools版本，已经压缩上传。直接使用就好。
docker-prometheus-nvidiasmi:使用Go编写的nvidia-smi的Dockerized Prometheus导出器，用于GPU统计信息
05-16
Docker Prometheus Nvidia SMI导出器 Docker化的Prometheus导出器，用于以Go语言编写的nvidia-smi提供的GPU统计信息。 支持多个GPU。
利用gpu-exporter与Prometheus实现GPU监控
本文档主要介绍了如何通过GPU exporter结合Prometheus进行GPU监控的配置与实施。" 知识点详细说明： GPU监控是数据中心管理中的一个重要方面，尤其是在处理深度学习、科学计算和图形渲染等任务时，GPU作为主要的...
使用Prometheus监控GPU
weixin_42466789的博客
07-20 1320
安装的exporter参考链接https://github.com/utkuozdemir/nvidia_gpu_exporter/blob/master/INSTALL.md。参考链接https://grafana.com/grafana/dashboards/14574-nvidia-gpu-metrics/# 报错使用命令 iex "& {$(irm get.scoop.sh)} -RunAsAdmin"导入Prometheus数据源的步骤 自行配置 此处省略。使用systemd管理grafana。
Grafana+Prometheus监控显卡
m0_60528314的博客
05-10 1644
通过Grafana添加数据源和仪表盘，对主机设备进行监控.监控GPU，方便查看设备的使用状态提高利用率
prometheus查询GPU语句
最新发布
10-10
Prometheus 是一个开源的监控系统，它主要用于收集、处理和存储时间序列数据。如果你想要查询有关 GPU 的信息，你需要使用 PromQL（Prometheus 查询语言），它是一个强大的 SQL 风格的查询语法。 对于 GPU 监控，通常需要特定的 Prometheus 收集器插件或者监控工具（如 nvidia-smi 或者 NVIDIA GPU Exporter）来获取 GPU 的指标数据，例如利用率、温度、功耗等。在 PromQL 中，你可以通过以下步骤查询 GPU 数据： 1. 确保有正确的 scrape jobs 或 exporters：首先，确保你的 Prometheus 集群已经配置了相应的收集器，可以从 NVIDIA GPU Exporter 获取 GPU 性能数据。 2. 使用 Prometheus 的标签筛选：由于每个 GPU 可能都有一个唯一的设备 ID（如 `nvidia_gpu` 或 `instance_name` 标签），你可以使用标签选择器（如 `job="nvidia-gpu-exporter"` 和 `device_id="<gpu_id>"`）来指定你关心的 GPU。 3. 编写 PromQL 查询：下面是一个基本的例子，假设你关心某个 GPU 的平均使用率（`usage`）： ```promql avg(nvidia_gpu_usage{job="nvidia-gpu-exporter", device_id="<gpu_id>"}[5m]) ``` 这将返回 `<gpu_id>` 上过去五分钟内的平均使用率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值