Prometheus安装部署——（DCGM）NVIDIA GPU监控

最新推荐文章于 2024-05-21 09:32:03 发布
最新推荐文章于 2024-05-21 09:32:03 发布
阅读量5.6k 收藏 9
点赞数
分类专栏： Prometheus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44196014/article/details/108464303
版权

一、（DCGM）NVIDIA GPU监控

必须先安装GPU驱动

  1. 安装go语言环境
sudo apt install golang-go
# 验证安装是否成功
go version
  1. 下载datacenter-gpu-manager（DCGM）
    从https://developer.nvidia.com/dcgm注册后下载DCGM
    在这里插入图片描述
  2. 安装DCGM
sudo dpkg -i  datacenter-gpu-manager_1.7.2_amd64.deb
  1. 下载gpu-monitoring-tools

                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Jack_Tpy
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    9
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  3
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控

				
			

			

				

					HLGsteel的博客
				

				

					06-06
					
					2951
					
				

			

		

		

			
				
使用dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控

			
		

	



                

              
                



	

		

			

				
					
DCGM:NVIDIA数据中心GPU管理器（DCGM）是一个项目，用于收集遥测和测量NVIDIA GPU的运行状况

				
			

			

				

					05-23
				

			

		

		

			
				
NVIDIA数据中心GPU管理器
介绍
NVIDIA数据中心GPU管理器（DCGM）是一套用于在集群环境中管理和监视NVIDIA数据中心GPU的工具。 它包括主动健康监控，全面诊断，系统警报以及包括电源和时钟管理在内的治理策略。 它可以由基础架构团队独立使用，并且可以轻松地集成到NVIDIA合作伙伴的集群管理工具，资源调度和监视产品中。
 DCGM简化了数据中心中的GPU管理，提高了资源可靠性和正常运行时间，自动化了管理任务，并有助于提高整体基础架构效率。 DCGM在x86_64，Arm和POWER（ppc64le）平台上支持Linux操作系统。 安装程序包包括库，二进制文件，NVIDIA Validation Suite（NVVS）和使用API​​的源示例（C，Python和Go）。
 DCGM通过允许用户使用收集GPU遥测技术，已集成到Kubernetes生态系统中。
 有关更多信息，

			
		

	



                


  
              

                


	

		

			

				
					
K8S下的GPU监控

				
			

			

				

					Richardlygo的博客
				

				

					05-10
					
					146
					
				

			

		

		

			
				
在前面给大家介绍了，在显卡的实际应用中，监控是不可缺少的一环。通过监控，我们能更直观的了解到显卡的使用情况和各项监控指标。英伟达提供了DCGM (NVIDIA Data Center GPU Manager) 工具用于管理和监控集群环境中的N卡。在K8S环境下，DCGM已经集成到dcgm-exporter中。dcgm-exporter可以将显卡相关监控指标以http接口的方式暴露给Prometheus。

			
		

	





	

		

			

				
					
基于DCGM和Prometheus的GPU监控方案

				
			

			

				

					u011619480的专栏
				

				

					03-31
					
					2354
					
				

			

		

		

			
				
基于DCGM和Prometheus的GPU监控方案

			
		

	



		

			
		



	

		

			

				
					
探索DGCm-Exporter：NVIDIA GPU监控的利器

					
最新发布

				
			

			

				

					gitblog_00059的博客
				

				

					05-21
					
					515
					
				

			

		

		

			
				
探索DGCm-Exporter：NVIDIA GPU监控的利器
项目地址:https://gitcode.com/NVIDIA/dcgm-exporter
在高性能计算和深度学习领域，NVIDIA GPU的性能监控至关重要。为此，我们带来了DCGM-Exporter，一个强大的工具，它能够将GPU的实时指标暴露给Prometheus，并利用NVIDIA的数据中心GPU管理器(DCGM)进行高效监控...

			
		

	





	

		

			

				
					
DCGM-Exporter 安装 显卡监控 Prometheus

				
			

			

				

					mixboot
				

				

					02-17
					
					4082
					
				

			

		

		

			
				
DCGM-Exporter 安装1.使用docker方式2.查看显卡参数
1.使用docker方式
docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1.1-ubuntu18.04

# docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1.1-ubuntu18.04
Unable to find image 'nvi

			
		

	





	

		

			

				
					
gpu-monitoring-tools：用于在Linux上监视NVIDIA GPU的工具

				
			

			

				

					02-10
				

			

		

		

			
				
NVIDIA GPU监控工具
该存储库包含Golang绑定和DCGM-Exporter，用于在Kubernetes中收集GPU遥测。
绑定
为以下两个库提供了Golang绑定：
 是基于C的API，用于监视和管理NVIDIA GPU设备。
 是一组用于在集群环境中管理和监视NVIDIA GPU的工具。 它是一种低开销的工具套件，可在每个主机系统上执行各种功能，包括主动运行状况监视，诊断，系统验证，策略，电源和时钟管理，组配置和计费。
 您还将在此存储库中找到这两个绑定的样本。
DCGM出口商
该存储库还包含DCGM-Exporter。 它利用为GPU指标导出。
快速开始
要在GPU节点上收集指标，只需启动dcgm-exporter容器：
 $ docker run -d --gpus all --rm -p 9400:9400 nvidia/dcgm-exporter:2.0.13-2.1

			
		

	





	

		

			

				
					
gpu-monitoring-tools.tar

				
			

			

				

					07-08
				

			

		

		

			
				
git上的版本已经更新，文中方法已经不一定适用。文中使用的gpu-monitoring-tools版本，已经压缩上传。直接使用就好。

			
		

	





	

		

			

				
					
nvidia_gpu_prometheus_exporter：NVIDIA GPU Prometheus导出器

				
			

			

				

					02-03
				

			

		

		

			
				
NVIDIA GPU Prometheus导出器 这是用于导出NVIDIA GPU指标的 。 它使用（NVML）的，这是一个基于C的API，可用于监视NVIDIA GPU设备。 与其他一些类似的出口商不同，它不调用二进制文件。 建造 该存储库包含nvml.h ，...

			
		

	





	

		

			

				
					
Prometheus监控平台搭建部署

				
			

			

				

					04-11
				

			

		

		

			
				
本文将详细介绍如何搭建和部署Prometheus监控平台。  1. **系统需求**  在开始部署之前，确保你的系统满足以下基本需求：  - 操作系统：Prometheus支持多种操作系统，如Linux、macOS和Windows。  - 硬件资源：根据你...

			
		

	





	

		

			

				
					
资源收集器：使用dcgm-exporter，将GPU资源过滤转换

				
			

			

				

					03-04
				

			

		

		

			
				
资源收集者
使用dcgm-exporter，将GPU资源过滤导出（基于kubernetes平台之上）

			
		

	





	

		

			

				
					
datacenter-gpu-manager_1.4.2_amd64.deb

				
			

			

				

					01-07
				

			

		

		

			
				
dcgm 1.4.2 DOWNLOAD DCGM 1.4.2 (May 2018) DEB Packages (x86_64)

			
		

	





	

		

			

				
					
datacenter-gpu-manager_1.7.2_amd64.deb

				
			

			

				

					06-05
				

			

		

		

			
				
NVIDIA Data Center GPU Manager (DCGM) 监控 GPU 服务 运行状况 使用的命令为 dcgmi 。

			
		

	





	

		

			

				
					
Prometheus监控安装

				
			

			

				

					01-09
				

			

		

		

			
				
Prometheus监控 一 环境准备 例：Prometheus服务器（192.168.1.171），Agent被监控服务器（192.168.1.172） 二、安装Prometheus（192.168.1.171） 1.下载Prometheus安装包  wget ...

			
		

	





	

		

			

				
					
基于kube-prometheus-stack部署监控K8S告警系统资源合集

				
			

			

				

					11-08
				

			

		

		

			
				
3. 安装 `kube-prometheus-stack`：通过 Helm 使用预定义的配置参数安装监控堆栈。  4. 自定义配置：根据需求，可以调整 Helm 参数来配置各个组件，比如设置 Alertmanager 的通知规则、Prometheus 的数据保留策略等...

			
		

	





	

		

			

				
					
k8s安装prometheus（包含镜像文件、yaml文件、部署方案）

				
			

			

				

					02-27
				

			

		

		

			
				
kubernetes安装prometheus 下载后，解压压缩包，阅读readme.md文件（部署方案）， 上传prometheus-operator.zip至服务器， 根据readme.md方案进行部署， 执行脚本导入prometheus相关镜像， 运行yaml文件，创建...

			
		

	





	

		

			

				
					
简单配置prometheus

				
			

			

				

					weixin_30378311的博客
				

				

					09-12
					
					161
					
				

			

		

		

			
				
一，物理节点安装配置（简单配置，未涉及报警及grafana图形展示）
1，prometheus 官网下载安装
下载安装
# pwd
/usr/local/src
https://github.com/prometheus/prometheus/releases/download/v2.12.0/prometheus-2.12.0.linux-amd64.tar.gz
# tar xvf ...

			
		

	





	

		

			

				
					
nvidia 监控

				
			

			

				

					怨行客
				

				

					02-07
					
					1144
					
				

			

		

		

			
				
关于hpa的相关behavior配置，https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/#configurable-scaling-behavior。

			
		

	





	

		

			

				
					
prometheus 安装部署

				
			

			

				

					01-05
				

			

		

		

			
				
以下是Prometheus的安装部署步骤：

1. 下载Prometheus的压缩包并解压缩：
```shell
wget https://github.com/prometheus/prometheus/releases/download/v2.30.3/prometheus-2.30.3.linux-amd64.tar.gz
tar -xzf prometheus-2.30.3.linux-amd64.tar.gz
```

2. 进入解压后的目录：
```shell
cd prometheus-2.30.3.linux-amd64
```

3. 创建一个配置文件prometheus.yml并编辑：
```shell
vim prometheus.yml
```

4. 在配置文件中添加需要监控的目标和指标：
```yaml
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: mysqld
    metrics_path: "/metrics"
    static_configs:
      - targets:
        - 192.168.80.15:9104
    labels:
      service: mysqld

  - job_name: nginx
    metrics_path: "/metrics"
    static_configs:
      - targets:
        - 192.168.80.15:9913
    labels:
      service: nginx
```

5. 启动Prometheus服务器：
```shell
./prometheus --config.file=prometheus.yml
```

6. 打开浏览器，访问Prometheus的Web界面：
```
http://localhost:9090
```

你可以在Web界面中查看监控指标、配置警报规则等。



			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值