dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控

已于 2023-06-07 11:26:15 修改
阅读量2.9k 收藏 4
点赞数 1
分类专栏： 云原生 文章标签： kafka prometheus 云原生
于 2023-06-06 20:27:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HLGsteel/article/details/131075397
版权

采集链路

最低0.47元/天 解锁文章
trsteel
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Prometheus安装部署——（DCGM）NVIDIA GPU监控
Jack_Tpy的Java学习之旅
09-08 5631
一、（DCGM）NVIDIA GPU监控 安装go语言环境 sudo apt install golang-go # 验证安装是否成功 go version 下载datacenter-gpu-manager（DCGM） 从https://developer.nvidia.com/dcgm注册后下载DCGM 安装DCGM sudo dpkg -i datacenter-gpu-manager_1.7.2_amd64.deb 下载gpu-monitoring-tools git clone
DCGM Exporter
process的博客
02-16 2139
写在前面：健康检查：https://docs.nvidia.com/datacenter/dcgm/dcgm-user-guide/feature-overview.html#background-health-checks其实我想找到能够检测gpu error 不能使用的metrics，但是没有找到，呜呜呜呜呜。寻求解决方案，欢迎留言一、背景因为gpu集群越来越大，为及时发现故障需要设置gpu物理告警。二、相关方法论1、dcgm-exporter是能够拿到gpu的使用量、温度、一些ecc错误数的指标。但是
【GPU监控】Gpu-dcgm-exporter 监控
zerotoall的博客
12-18 1435
【GPU监控】Gpu-dcgm-exporter 监控
【30天精通Prometheus：一站式监控实战指南】第20天：dcgm-exporter从入门到实战：安装、配置详解与生产环境搭建指南，超详细
最新发布
大唐有趣的小胡.
06-06 954
本文概述了dcgm-exporter的基本概念和用途，并详细介绍了其安装过程，包括访问官方网站、选择适合版本、下载安装、解压安装包等步骤。同时，强调了安装GO环境的重要性，并简述了如何运行dcgm-exporter。文章还深入解析了dcgm-exporter的指标和配置，特别是dcgm-exporter.service文件。最后，提供了实战演练指南，包括在生产环境中创建用户管理、解压安装包、集成到Prometheus配置、编辑服务文件以及启动和检查服务等步骤，为读者提供了全面的dcgm-exporter搭建
GCDM_exporter部署过程记录
weixin_46424009的博客
05-16 997
yaml文件地址:github地址:https://github.com/NVIDIA/dcgm-exporter/blob/main/dcqm-exporter.yaml。
Prometheus——监控k8s中pod的GPU
热门推荐
LiZhen314的博客
09-10 1万+
由于gpu_exporter采用NVIDIA Data Center GPU Manager (DCGM)工具，适用于监控集群环境，以下讨论在k8s集群下的监控。 一、设备需求： NVIDIA Tesla驱动程序= R384 + nvidia-docker版本> 2.0 将默认运行时设置为nvidia Kubernetes版本= 1.13 在/ etc / default /...
dcgm-exporter：Collect Switch Metrics和Collect Link Metrics
牛奔的博客
09-27 177
在 DCGM(Data Center GPU Manager)中，"Collect Switch Metrics" 和 "Collect Link Metrics" 是两个功能选项，用于收集关于 GPU 交换机和连接的指标数据。它们的含义如下： Collect Switch Metrics(收集交换机指标) 在 GPU 集群中，GPU 交换机是用于处理 GPU 设备之间通信和数据传输的关键组件。...
Prometheus 踩坑集锦
qq_23435961的博客
06-23 1649
Prometheus 踩坑集锦 1 几点原则 2 Prometheus 的局限 3 K8S 集群中常用的 exporter 4 K8S 核心组件监控与 Grafana 面板 5 采集组件 All IN One 6 合理选择黄金指标 7 K8S 1.16中 Cadvisor 的指标兼容问题 8 Prometheus 采集外部 K8S 集群、多集群 9 GPU 指标的获取 10 更改 Prometheus 的显示时区 11 如何采集 LB 后面的 RS 的 Metric 12 版本的选择 13 Prometh
资源收集器：使用dcgm-exporter，将GPU资源过滤转换
03-04
dcgm-exporter是一款基于Go语言开发的开源工具，它允许用户从NVIDIA的Data Center GPU Manager (DCGM)中提取GPU资源数据，并将其转换为Prometheus友好的格式，以便在监控和管理系统中使用。Prometheus是一款流行的...
gpu-monitoring-tools：用于在Linux上监视NVIDIA GPU的工具
02-10
NVIDIA GPU监控工具 该存储库包含Golang绑定和DCGM-Exporter，用于在...要在GPU节点上收集指标，只需启动dcgm-exporter容器： $ docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1
gpu参数查看工具
12-29
显卡参数查看工具，并且可以实时查看gpu使用情况，可以及时看到电脑运行情况
DCGM:NVIDIA数据中心GPU管理器（DCGM）是一个项目，用于收集遥测和测量NVIDIA GPU的运行状况
05-23
NVIDIA数据中心GPU管理器 介绍 NVIDIA数据中心GPU管理器（DCGM）是一套用于在集群环境中管理和监视NVIDIA数据中心GPU的工具。 它包括主动健康监控，全面诊断，系统警报以及包括电源和时钟管理在内的治理策略。 它可以由基础架构团队独立使用，并且可以轻松地集成到NVIDIA合作伙伴的集群管理工具，资源调度和监视产品中。 DCGM简化了数据中心中的GPU管理，提高了资源可靠性和正常运行时间，自动化了管理任务，并有助于提高整体基础架构效率。 DCGM在x86_64，Arm和POWER（ppc64le）平台上支持Linux操作系统。 安装程序包包括库，二进制文件，NVIDIA Validation Suite（NVVS）和使用API​​的源示例（C，Python和Go）。 DCGM通过允许用户使用收集GPU遥测技术，已集成到Kubernetes生态系统中。 有关更多信息，
node-exporter-1.5.0.linux-amd64
12-30
prometheus 性能监控 Prometheus exporter for hardware and OS metrics exposed by *NIX kernels, written in Go with pluggable metric collectors.... To expose NVIDIA GPU metrics, prometheus-dcgm can be used.
datacenter-gpu-manager_2.1.4_amd64.deb
03-31
prometheus GPU监控组件 dcgm 2.1.4
datacenter-gpu-manager_1.4.2_amd64.deb
01-07
dcgm 1.4.2 DOWNLOAD DCGM 1.4.2 (May 2018) DEB Packages (x86_64)
在Docker中集成GPU监控体系
tamako0v0的博客
11-24 1841
先上效果图 等文档整理出来再更
探索DGCm-Exporter：NVIDIA GPU监控的利器
gitblog_00059的博客
05-21 549
探索DGCm-Exporter：NVIDIA GPU监控的利器 项目地址:https://gitcode.com/NVIDIA/dcgm-exporter 在高性能计算和深度学习领域，NVIDIA GPU的性能监控至关重要。为此，我们带来了DCGM-Exporter，一个强大的工具，它能够将GPU的实时指标暴露给Prometheus，并利用NVIDIA的数据中心GPU管理器(DCGM)进行高效监控...
kubesphere HA install （二）
青春不流名
06-30 256
kubesphere HA install （二）
dcgm+prometheus
02-01
DCGM 是 NVIDIA Data Center GPU 管理工具的缩写，而 Prometheus 是一种用于监控和警报的开源工具。DCGM Prometheus 是将 DCGM 与 Prometheus 集成，以便更好地监控和管理 NVIDIA GPU 在数据中心环境中的性能和健康状况。 DCGM 提供了许多功能，包括 GPU 温度、功耗、内存使用情况、性能指标等的监控。而 Prometheus 则是一种通过 HTTP 协议来收集和存储时间序列数据的工具，它允许用户通过灵活的查询语言来查询和分析这些数据。 将 DCGM 与 Prometheus 集成，可以通过使用 Prometheus 提供的丰富的监控仪表板和警报系统来实时监控 GPU 的性能和健康状况。通过将 DCGM 的数据导出为 Prometheus 可以理解的格式，用户可以方便地将数据传输到 Prometheus 的存储数据库中，以进行持久化存储和长期分析。 使用 DCGM Prometheus，用户可以在数据中心中实时监控 GPU 使用情况，及时发现并处理 GPU 温度过高、功耗异常或内存使用超限等问题。此外，用户还可以设置警报规则，当 GPU 的性能或健康状况达到预定的阈值时，系统会自动发送警报通知用户，以便及时采取措施。 总的来说，DCGM Prometheus 结合了 DCGM 提供的 GPU 监控数据和 Prometheus 提供的强大查询和警报功能，为用户提供了一个全面的 GPU 监控和管理解决方案，帮助用户实时了解 GPU 的性能状况，保证数据中心的稳定和可靠运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值