GPU之nvidia-smi命令详解

1、nvidia-smi介绍

nvidia-sim简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是一个跨平台工具，支持所有标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统。这个工具是N卡驱动附带的，只要装好驱动，就会有这个命令

2、nvidia-smi常用命令介绍

1）显示GPU当前的状态：

nvidia-smi

• Windows下

• Linux下

表格参数详解：

• **GPU：**本机中的GPU编号（有多块显卡的时候，从0开始编号）图上GPU的编号是：0
• **Fan：**风扇转速（0%-100%），N/A表示没有风扇,这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。
• **Name：**GPU类型，图上GPU的类型是：GeForce MX250/RTX 2080Ti
• **Temp：**GPU的温度（GPU温度过高会导致GPU的频率下降）
• **Perf：**GPU的性能状态，从P0（最大性能）到P12（最小性能），图上是：P0
• **Persistence-M：**持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时花费的时间更少，图上显示的是：off
• **Pwr：Usager/Cap：**能耗表示，Usage：用了多少，Cap总共多少
• **Bus-Id：**GPU总线相关显示，domain：bus：device.function
• **Disp.A：**Display Active ，表示GPU的显示是否初始化
• **Memory-Usage：**显存使用率
• **Volatile GPU-Util：**GPU使用率
• **Uncorr. ECC：**关于ECC的东西，是否开启错误检查和纠正技术，0/disabled,1/enabled
• **Compute M：**计算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED
• **Processes：**显示每个进程占用的显存使用率、进程号、占用的哪个GPU
• **type：**进程类型。C 表示计算进程，G 表示图形进程，C+G 表示都有。

2）隔几秒刷新一下显存状态：nvidia-smi -l 秒数

隔两秒刷新一下GPU的状态：

nvidia-smi -l 2

3) 将监控结果写入文件，并且指定写入文件的监控字段

nvidia-smi -l 1 --format=csv --filename=report.csv --query-gpu=timestamp,name,index,utilization.gpu,memory.total,memory.used,power.draw

• **-l：**隔多久记录一次，命令中写的是1
• **–format：**结果记录文件格式是csv
• –filename: 结果记录文件的名字
• **–query-gpu：**记录哪些数据到csv文件
• **timestamp：**时间戳
• **memory.total：**显存大小
• **memory.total：**显存使用了多少
• **utilization.gpu：**GPU使用率
• **power.draw：**显存功耗，对应Pwr：Usage

---

4)其他命令

上面是显存监控中常用的几个命令，如果还有什么参数想了解，可以通过：

nvidia-smi  -h

命令查看

如果想调整结果记录文件的字段，可以通过下面的命令查看对应的字段：

**nvidia-smi --help-query-gpu**

nvidia-smi 命令的其他参数
除了直接运行 nvidia-smi 命令之外，还可以加一些参数，来查看一些本机 Nvidia GPU 的其他一些状态。下面笔者简单介绍几个常用的参数，其他的有需要可以去手册中查找：man nvidia-smi。

-L

-L 参数显示连接到系统的 GPU 列表。

-i

-i 参数指定某个 GPU，多用于查看 GPU 信息时指定其中一个 GPU。

-q

-q 参数查看 GPU 的全部信息。可通过 -i 参数指定查看某个 GPU 的参数。

如：

nvidia-smi -i 0 -q

输出太长了，大家可以自己试一下，是很完整的信息。

topo

topo 展示多GPU系统的拓扑连接信息，通常配合 -m 参数即 nvidia-smi topo -m，其他参数可自行查阅。

# **3 简易测试脚本**

nvidia-smi命令会实时记录gpu的情况，如果想让命令停止下来，需要手动执行ctrl-c，或者kill掉进程，为了便于使用，这里编写了一个shell脚本，输入：记录文件名、执行时间，执行命令即可

**将下面的脚本复制到文本，然后保存，chmod 755 XXX.sh  修改脚本执行权限，执行即可**

```shell
#!/bin/bash** 

# nvidia-smi执行时间函数
function  timeout

{

    timeStart=`date +%s`

    timeEnd=`date +%s`

#echo "starttime is  $timeStart"

#echo "endtiem is $timeEnd"

   i=$(($timeEnd - $timeStart))

  timeout=$1

  echo "timeout is :$timeout"

while ([ $i -ne $timeout ])

    do

       timeEnd=`date +%s`

       i=$(($timeEnd - $timeStart))

  done

}

nvidia-smi -l 1 --format=csv --filename=$1 --query-gpu=timestamp,name,index,utilization.gpu,memory.total,memory.used,power.draw &

echo "shell  PID: $$"

echo "nvidia-smi  PID: $!"

id=$!

echo $id

timeout $2

echo $id

kill -9 "$id"