简记 nvidia-smi

背景

项目使用的GPU 服务器最近显存总是宕机，根据日志分析大概率是显存不足导致。所以查了下怎么看显存。

nvidia-smi 简记

nvidia-sim 简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是N卡驱动附带的，只要装好驱动，就会有这个命令。如果驱动有问题，这个指令就无法使用或者使用的时候展示的数据异常。

nvidia-smi 常用命令

nvidia-smi 查看显存

部分参数解释（加粗的是重点）

• GPU：本机中的GPU编号（有多块显卡的时候，从0开始编号）图上GPU的编号是：0
• Fan：风扇转速（0%-100%），N/A表示没有风扇
• Name：GPU类型，图上GPU的类型是：Tesla T4
• Temp：GPU的温度（GPU温度过高会导致GPU的频率下降）
• Perf：GPU的性能状态，从P0（最大性能）到P12（最小性能），图上是：P0
• Persistence-M：持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时花费的时间更少，图上显示的是：off
• Pwr：Usager/Cap：能耗表示，Usage：用了多少，Cap总共多少
• Bus-Id：GPU总线相关显示，domain：bus：device.function
• Disp.A：Display Active ，表示GPU的显示是否初始化
• Memory-Usage：显存使用率
• Volatile GPU-Util：GPU使用率
• Uncorr. ECC：关于ECC的东西，是否开启错误检查和纠正技术，0/disabled,1/enabled
• Compute M：计算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED
• Processes：显示每个进程占用的显存使用率、进程号、占用的哪个GPU

下图是之前看博客的时候找到的，这里借用下：
上述命名不是实时的，查看的时候需要手动输入指令，不太方便。

nvidia-smi -l 秒数：隔几秒刷新

# 每两秒执行一次
nvidia-smi -l 2

nvidia-smi -L：连接到系统的 GPU 列表

nvidia-smi -i：参数指定某个 GPU，用于多GPU。

nvidia-smi -q：查看 GPU 的全部信息。可与 -i 参数连用查看指定某个 GPU 的参数