GPU服务器的性能实时监控

先展示最终效果：

要实现上述监控页面，必须安装并配置nvidia_gpu_exploter、prometheus、grafana这三个软件，具体的安装配置流程如下：

（我想通过网页实时展示服务器上正在运行的gpu进程以及使用的显存占比，但是这套配置其最终效果只显示内存使用占比、显存使用占比，gpu实时利用率等等，无法实现gpu进程和其占比的实时展示）

一、nvidia_gpu_exploter的安装配置

nvidia_gpu_exploter用于获取nvidia-smi的输出信息，可以将其看作一个抓手，定时（5s/10s）抓取一次nvidia-smi的输出信息。

1、nvidia_gpu_exploter的安装

Linux可使用以下命令一键傻瓜安装：

sudo dpkg -i nvidia-gpu-exporter_1.1.0_linux_amd64.deb

2、或使用二进制文件安装：

VERSION=1.2.1 
wget https://github.com/utkuozdemir/nvidia_gpu_exporter/releases/download/v${VERSION}/nvidia_gpu_exporter_${VERSION}_linux_x86_64.tar.gz 
tar -xvzf nvidia_gpu_exporter_${VERSION}_linux_x86_64.tar.gz 
mv nvidia_gpu_exporter /usr/bin 
nvidia_gpu_exporter --help

3、nvidia_gpu_exploter的配置

一键式安装无需额外就能启用nvidia_gpu_exploter.service

systemctl start nvidia_gpu_exporter.service

systemctl status nvidia_gpu_exporter.service

 4、之后在局域网内部任意一台电脑中输入服务器IP:9835 即可访问服务页面

 

出现上述内容，说明nvidia_gpu_exporter.service成功运行

nvidia_gpu_exporter项目的github主页： utkuozdemir/nvidia_gpu_exporter: Nvidia GPU exporter for prometheus using nvidia-smi binary (github.com)

二、prometheus、grafana安装

该安装教程很多，此处不在赘述