1、nvidia-smi介绍
nvidia-sim简称NVSMI,提供监控GPU使用情况和更改GPU状态的功能,是一个跨平台工具,支持所有标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统。这个工具是N卡驱动附带的,只要装好驱动,就会有这个命令
2、nvidia-smi常用命令介绍
1)显示GPU当前的状态:
nvidia-smi
表格参数详解:
- **GPU:**本机中的GPU编号(有多块显卡的时候,从0开始编号)图上GPU的编号是:0
- **Fan:**风扇转速(0%-100%),N/A表示没有风扇,这个速度是计算机期望的风扇转速,实际情况下如果风扇堵转,可能打不到显示的转速。
- **Name:**GPU类型,图上GPU的类型是:GeForce MX250/RTX 2080Ti
- **Temp:**GPU的温度(GPU温度过高会导致GPU的频率下降)
- **Perf:**GPU的性能状态,从P0(最大性能)到P12(最小性能),图上是:P0
- **Persistence-M:**持续模式的状态,持续模式虽然耗能大,但是在新的GPU应用启动时花费的时间更少,图上显示的是:off
- **Pwr:Usager/Cap:**能耗表示,Usage:用了多少,Cap总共多少
- **Bus-Id:**GPU总线相关显示,domain:bus:device.function
- **Disp.A:**Display Active ,表示GPU的显示是否初始化
- **Memory-Usage:**显存使用率
- **Volatile GPU-Util:**GPU使用率
- **Uncorr. ECC:**关于ECC的东西,是否开启错误检查和纠正技术,0/disabled,1/enabled
- **Compute M:**计算模式,0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED
- **Processes:**显示每个进程占用的显存使用率、进程号、占用的哪个GPU
- **type:**进程类型。C 表示计算进程,G 表示图形进程,C+G 表示都有。
2)隔几秒刷新一下显存状态:nvidia-smi -l 秒数
隔两秒刷新一下GPU的状态:
nvidia-smi -l 2
3) 将监控结果写入文件,并且指定写入文件的监控字段
nvidia-smi -l 1 --format=csv --filename=report.csv --query-gpu=timestamp,name,index,utilization.gpu,memory.total,memory.used,power.draw
- **-l:**隔多久记录一次,命令中写的是1
- **–format:**结果记录文件格式是csv
- –filename: 结果记录文件的名字
- **–query-gpu:**记录哪些数据到csv文件
- **timestamp:**时间戳
- **memory.total:**显存大小
- **memory.total:**显存使用了多少
- **utilization.gpu:**GPU使用率
- **power.draw:**显存功耗,对应Pwr:Usage
4)其他命令
上面是显存监控中常用的几个命令,如果还有什么参数想了解,可以通过:
nvidia-smi -h
命令查看
如果想调整结果记录文件的字段,可以通过下面的命令查看对应的字段:
**nvidia-smi --help-query-gpu**
nvidia-smi 命令的其他参数
除了直接运行 nvidia-smi 命令之外,还可以加一些参数,来查看一些本机 Nvidia GPU 的其他一些状态。下面笔者简单介绍几个常用的参数,其他的有需要可以去手册中查找:man nvidia-smi。
-L
-L 参数显示连接到系统的 GPU 列表。
-i
-i
参数指定某个 GPU,多用于查看 GPU 信息时指定其中一个 GPU。
-q
-q
参数查看 GPU 的全部信息。可通过 -i
参数指定查看某个 GPU 的参数。
如:
nvidia-smi -i 0 -q
输出太长了,大家可以自己试一下,是很完整的信息。
topo
topo
展示多GPU系统的拓扑连接信息,通常配合 -m
参数即 nvidia-smi topo -m
,其他参数可自行查阅。
# **3 简易测试脚本**
nvidia-smi命令会实时记录gpu的情况,如果想让命令停止下来,需要手动执行ctrl-c,或者kill掉进程,为了便于使用,这里编写了一个shell脚本,输入:记录文件名、执行时间,执行命令即可
**将下面的脚本复制到文本,然后保存,chmod 755 XXX.sh 修改脚本执行权限,执行即可**
```shell
#!/bin/bash**
# nvidia-smi执行时间函数
function timeout
{
timeStart=`date +%s`
timeEnd=`date +%s`
#echo "starttime is $timeStart"
#echo "endtiem is $timeEnd"
i=$(($timeEnd - $timeStart))
timeout=$1
echo "timeout is :$timeout"
while ([ $i -ne $timeout ])
do
timeEnd=`date +%s`
i=$(($timeEnd - $timeStart))
done
}
nvidia-smi -l 1 --format=csv --filename=$1 --query-gpu=timestamp,name,index,utilization.gpu,memory.total,memory.used,power.draw &
echo "shell PID: $$"
echo "nvidia-smi PID: $!"
id=$!
echo $id
timeout $2
echo $id
kill -9 "$id"