prometheus监控gpu
使用
进入工作环境 (base) czy@NP5570M5:~$
czy@NP5570M5:~$ cd prometheus-2.54.0-rc.0.linux-amd64
将prometheus映射到9900端口(系统默认配置为9090端口,但9090端口被不知名进程占用)
czy@NP5570M5:~$ ./prometheus --config.file=prometheus.yml --web.listen-address=:9900
新建终端,进入grafana
czy@NP5570M5:~$ cd grafana-v10.4.2
执行
czy@NP5570M5:~$ ./bin/grafana-server web
打开转发端口为3000的地址 http://localhost:3000/
账号:admin
密码:admin
打开仪表板查看gpu指标
例如总能耗:
配置过程
总体上配置过程为:
1.安装Prometheus
安装网址:https://prometheus.io/download/,本地下载后上传服务器,解压后需要修改两个配置文件prometheus.yml、prometheus.service。
prometheus.yml
是 Prometheus 的主配置文件,定义了 Prometheus 的全局配置、抓取配置和规则配置。
prometheus.service
是一个 systemd 服务单元文件,用于管理 Prometheus 服务的启动、停止和重启等操作。
修改prometheus.yml并制定9400端口
#添加以下代码
- job_name: 'gpu_metrics'
static_configs:
- targets: ['localhost:9400']
编辑prometheus.service并指定prometheus.yml位置
[Unit]
Description=Prometheus
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/prometheus-2.45.4.linux-amd64/prometheus --config.file=/usr/local/prometheus-2.45.4.linux-amd64/prometheus.yml
Restart=on-failure
[Install]
WantedBy=multi-user.target
2.创建基于dcgm的带有gpu的容器,映射端口为9400
docker run -d --gpus all -p 9400:9400 --restart=always nvidia/dcgm-exporter:latest
3.安装Grafana
安装10.4.2版本的Download Grafana | Grafana Labs
查看端口http://localhost:9900/
gpu_metrics处于up状态
登录Grafana添加数据源和仪表盘http://localhost:3000/
添加数据源prometheus
新建仪表板,选择指标,保存退出