prometheus监控gpu linux

prometheus监控gpu

使用

进入工作环境 (base) czy@NP5570M5:~$

czy@NP5570M5:~$ cd prometheus-2.54.0-rc.0.linux-amd64

将prometheus映射到9900端口(系统默认配置为9090端口，但9090端口被不知名进程占用)

czy@NP5570M5:~$ ./prometheus --config.file=prometheus.yml --web.listen-address=:9900

新建终端，进入grafana

czy@NP5570M5:~$ cd grafana-v10.4.2

执行

czy@NP5570M5:~$ ./bin/grafana-server web

打开转发端口为3000的地址 http://localhost:3000/

账号：admin

密码：admin

打开仪表板查看gpu指标

例如总能耗：

配置过程

总体上配置过程为：

1.安装Prometheus

安装网址：https://prometheus.io/download/，本地下载后上传服务器，解压后需要修改两个配置文件prometheus.yml、prometheus.service。

prometheus.yml 是 Prometheus 的主配置文件，定义了 Prometheus 的全局配置、抓取配置和规则配置。

prometheus.service 是一个 systemd 服务单元文件，用于管理 Prometheus 服务的启动、停止和重启等操作。

修改prometheus.yml并制定9400端口

#添加以下代码
  - job_name: 'gpu_metrics'
    static_configs:
      - targets: ['localhost:9400']

编辑prometheus.service并指定prometheus.yml位置

[Unit]
Description=Prometheus
After=network.target
 
[Service]
Type=simple
ExecStart=/usr/local/prometheus-2.45.4.linux-amd64/prometheus --config.file=/usr/local/prometheus-2.45.4.linux-amd64/prometheus.yml
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

2.创建基于dcgm的带有gpu的容器，映射端口为9400

docker run -d --gpus all -p 9400:9400 --restart=always nvidia/dcgm-exporter:latest

3.安装Grafana

安装10.4.2版本的Download Grafana | Grafana Labs

查看端口http://localhost:9900/

gpu_metrics处于up状态

登录Grafana添加数据源和仪表盘http://localhost:3000/

添加数据源prometheus

新建仪表板，选择指标，保存退出