矩池云上使用nvidia-smi命令教程

已于 2022-03-11 15:39:50 修改
阅读量1.9k 收藏 2
点赞数
文章标签： 云计算 GPU 矩池云
于 2022-03-07 18:02:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48344945/article/details/123332966
版权
本文详细介绍了nvidia-smi命令的用途，用于查询GPU使用情况，包括GPU型号、温度、功耗、显存使用率等信息。同时提到了nvidia-smi与nvcc显示CUDA版本不一致的情况，这通常是由于driverAPI和runtimeAPI的不同版本导致。最后，还介绍了实时监控GPU使用情况的方法，并警告了使用`watch`命令可能带来的问题。
摘要由CSDN通过智能技术生成

简介

nvidia-smi全称是NVIDIA System Management Interface ，它是一个基于NVIDIA Management Library(NVML)构建的命令行实用工具，旨在帮助管理和监控NVIDIA GPU设备。

详解nvidia-smi命令

请添加图片描述

接下来我介绍一下，用nvidia-smi命令来查询机器GPU使用情况的相关内容。​

nvidia-smi

我以上图的查询内容为例，已经复制出来了，如下，

(myconda) root@8dbdc324be74:~# nvidia-smi
Tue Jul 20 14:35:11 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.32.03    Driver Version: 460.32.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P100-SXM2...  On   | 00000000:1C:00.0 Off |                    0 |
| N/A   27C    P0    31W / 300W |      0MiB / 16280MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Tesla P100-SXM2...  On   | 00000000:1D:00.0 Off |                    0 |
| N/A   25C    P0    32W / 300W |      0MiB / 16280MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

我们来拆分一下

NVIDIA-SMI 460.32.03          # 
Driver Version: 460.32.03     # 英伟达驱动版本
CUDA Version: 11.2            # CUDA版本

|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P100-SXM2...  On   | 00000000:1C:00.0 Off |                    0 |
| N/A   27C    P0    31W / 300W |      0MiB / 16280MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Tesla P100-SXM2...  On   | 00000000:1D:00.0 Off |                    0 |
| N/A   25C    P0    32W / 300W |      0MiB / 16280MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

GPU：                # GPU的编号，0代表第一张显卡，1代表第二张，依次类推

Fan：                # 风扇转速（0%–100%），N/A表示没有风扇

Name：               # GPU的型号，以此处为例是P100

Temp：               # GPU温度（GPU温度过高会导致GPU频率下降）

Perf：               # 性能状态，从P0（最大性能）到P12（最小性能）

Pwr：                # GPU功耗

Persistence-M：      #  持续模式的状态（持续模式耗能大，但在新的GPU应用启动时花费时间更少）

Bus-Id：             # GPU总线，domain:bus:device.function

Disp.A：             # Display Active，表示GPU的显示是否初始化

Memory-Usage：       # 显存使用率（显示显存占用情况）

Volatile GPU-Util：  # 浮动的GPU利用率

ECC：                # 是否开启错误检查和纠正技术，0/DISABLED, 1/ENABLED

Compute M.：         # 计算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED

Memory-Usage和Volatile GPU-Util是两个不一样的东西，显卡由GPU和显存等部分所构成，GPU相当于显卡上的CPU，显存相当于显卡上的内存。在跑任务的过程中可以通过优化代码来提高这两者的使用率。​

nvcc和nvidia-smi显示的CUDA版本不同？

(myconda) root@8dbdc324be74:~# nvidia-smi
Tue Jul 20 14:35:11 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.32.03    Driver Version: 460.32.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P100-SXM2...  On   | 00000000:1C:00.0 Off |                    0 |
| N/A   27C    P0    31W / 300W |      0MiB / 16280MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Tesla P100-SXM2...  On   | 00000000:1D:00.0 Off |                    0 |
| N/A   25C    P0    32W / 300W |      0MiB / 16280MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
(myconda) root@8dbdc324be74:~# nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Mon_Oct_12_20:09:46_PDT_2020
Cuda compilation tools, release 11.1, V11.1.105
Build cuda_11.1.TC455_06.29190527_0

可以看到nvcc的CUDA版本是11.1，而nvidia-smi的CUDA版本是11.2。这对运行任务是没有影响的，绝大多数代码都是可以正常跑起来的，引起这个的主要是因为CUDA两个主要的API，runtime API和driver API。神奇的是这两个API都有自己对应的CUDA版本（如图上的11.1和11.2）。在StackOverflow有一个解释，如果driver API和runtime API的CUDA版本不一致可能是因为你使用的是单独的GPU driver installer，而不是CUDA Toolkit installer里的GPU driver installer。在矩池云上的表现可以解释为driver API来自于物理机器的驱动版本，runtime API是来自于矩池云镜像环境内的CUDA Toolkit版本。

实时显示显存使用情况

nvidia-smi -l 5  #5秒刷新一次

动态刷新信息（默认5s刷新一次），按Ctrl+C停止，可指定刷新频率，以秒为单位

#每隔一秒刷新一次，刷新频率改中间数字即可
watch -n 1 -d nvidia-smi

在这里不建议使用watch查看nvidia-smi，watch每个时间周期开启一个进程(PID)，查看后关闭进程，可能会影响到其他进程。

机器学习是魔鬼
关注
nvidia-smi命令详解
SZYZP的博客
06-28 1759
nvidia-smi全称: NVIDIA System Management Interface, 它是一个基于NVIDIA Management Library(NVML)构建的命令行实用工具，旨在帮助管理和监控NVIDIA GPU设备。命令显示的是驱动程序支持的 CUDA 版本，驱动程序支持的版本与编译和链接程序的版本无关。nvcc的CUDA版本和nvidia-smi的CUDA版本可能不同。是CUDA编译驱动程序，其CUDA版本是用于编译CUDA程序的。显示的CUDA是驱动支持的CUDA，
nvidia-smi命令
s_sunnyy的博客
11-16 2万+
nvidia 的系统管理界面 (nvidia-smi)，可以收集各种级别的信息，查看显存使用情况。此外, 可以启用和禁用 GPU 配置选项 (如 ECC 内存功能)。 1. nvidia-smi 命令 解释相关参数含义： GPU：本机中的GPU编号 Name：GPU 类型 Persistence-M： Fan：风扇转速 Temp：温度，单位摄氏度 Perf：表征
ubuntu下实时查看CPU，内存（Mem）和GPU的利用率
最新发布
m0_49384824的博客
10-09 2781
在启用 MIG 的情况下，一张 GPU 可以分割为多个逻辑 GPU，每个逻辑 GPU 分配固定的计算和显存资源。例如，只有支持 MIG 的 NVIDIA GPU（如 A100 或 H100）才会显示 MIG 相关的信息，而其他不支持的 GPU 显示。：这是 NVIDIA 提供的一个命令，用于显示 GPU 的实时信息，包括显卡的温度、功耗、显存使用率、GPU 负载等。：在这个模式下，只有一个进程能够使用 GPU 的计算资源，但该进程可以有多个线程。：默认计算模式，多个进程可以同时访问 GPU 的计算资源。
nvidia --msi发现显卡驱动建议cuda版本11.4，nvcc发现实际版本是12.3，最后成功安装pytorch1.13.0，以及解决了pip，conda安装时显示空间不足的问题
wonderboyLU的博客
04-23 1433
发现驱动版本较低，cuda版本建议的是11.4，或者更低，因为cuda向下兼容nvcc -V发现实际版本12.3，由于是服务器，咱也不敢升级驱动，只能摸索着装环境。试了不行又试了成功你可以尝试先清理缓存空间是一个在基于 Conda 包管理器和环境管理器的系统中使用的命令，它用于清理不必要的文件和释放空间。这个命令会删除许多不同类型的不需要的文件，包括缓存的包、索引缓存、锁文件、日志文件等。以下是：删除下载的包文件，这些文件通常存储在或目录下。
nvidia-smi命令参数说明
John's Blogs
02-20 1090
显卡是由GPU和显存等组成，图中参数的含义： GPU:GPU编号 Name:GPU的名称 Persistence-M:持续模式，默认为关闭，比较节能，如果设置成on,耗能比较大，但新的GPU应用启动时，花费的时间更短 Fan:风扇转数，在0~100%之间变化 Temp:GPU的温度，单位为摄氏度 Perf:性能状态，从P0到P12,P0表示最大性能，P12表示最小性能 Pwr：U...
nvidia-smi nvcc -V 及 CUDA、cuDNN 安装
泠山的博客
09-02 6645
注意，这个步骤如果前面安装了 Driver，即步骤1内显示了版本时，这里不要安装 Driver，否则这里的 CUDA 会安装失败。在下载 PyTorch 时，这里的 Compute Platform 是运行的平台，这里是不包括 CUDA 安装的。的结果除了有 GPU 驱动版本型号，还有 CUDA Driver API 的型号，即上面的 12.0。（这里我的.run软件不小心删了，拿的别人的，所以除了版本均一致）的时候，默认安装的与该 CUDA 相同版本的 PyTorch。的错误，有些摸不着头脑。
nvidia-smi的简介、安装使用的安装包
11-14
对于开发人员、系统管理员以及数据科学家来说，`nvidia-smi`是一个必不可少的工具，用于优化GPU资源的使用和诊断GPU相关问题。 **1. 安装nvidia-smi** 在Linux系统中，通常通过包管理器来安装`nvidia-smi`。对于...
nvidia-smi.exe nvidia-smi.exe
02-15
nvidia-sim简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，一个跨平台工具，支持标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统
nvidia-smi 命令
搬砖小工053
07-17 1万+
背景qgzang@ustc:~$ nvidia-smi -h输出如下信息： NVIDIA System Management Interface – v352.79 NVSMI provides monitoring information for Tesla and select Quadro devices. The data is presented in either a
nvidia-gpu-monitor:使用nvidia-smi帮助监控Nvidia GPU利用率
04-30
Nvidia GPU监视器 使用nvidia-smi帮助监视Nvidia GPU利用率。 请检查下面的完整文档。 目录 安装及使用 使用npm： $ npm install --save nvidia-gpu-monitor 使用纱： $ yarn add nvidia-gpu-monitor
nvidia-smi显示不全
热门推荐
mtl1994的博客
06-30 4万+
nvidia-smi显示不全 文章目录nvidia-smi显示不全前言一、代码总结 前言 使用nvidia-smi查看显卡版本 显示不全 一、代码 #使用 nvidia-smi -a 总结 提示：这里对文章进行总结： 例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 供了大量能使我们快速便捷地处理数据的函数和方法。 ...
nvcc和nvidia-smi显示版本不一致的问题
momo的博客
12-12 2639
在服务器上用3090尝试运行程序的时候发现了报错查看了一下CUDA的版本，用nvcc -V得到的是V11.6.124，用nvidia-smi得到的版本是11.4。
nvcc --version与nvidia-smi区别（仅作为网友在遇到困难时的一种参考，如有不对请指出~）
qq_45893319的博客
03-13 2911
nvcc --version与nvidia-smi区别： 查询到的版本号是不一样的，nvidia-smi是查看支持的最大版本，nvcc --version查看当前服务器安装的版本 nvcc --version C:\Users\deep>nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2019 NVIDIA Corporation Built on Wed_Oct_23_19:32:27_Pacific_
【CUDA】nvcc` 与 `nvidia-smi` 命令的区别及用途
人生苦短，睡觉要紧，睡醒再说
08-16 825
nvcc: 主要用于 CUDA 编译和编译器信息，帮助你编译 CUDA 代码并检查编译环境配置。nvidia-smi: 主要用于 GPU 状态监控和管理，提供有关 GPU 的硬件状态、性能指标和驱动程序信息。这两个工具在 GPU 的使用和管理中扮演着不同但互补的角色。nvcc确保你的 CUDA 代码能够被正确编译和运行，而nvidia-smi则帮助你监控和管理 GPU 的运行状态。掌握这两个工具的使用，将有助于你更高效地开发和调试基于 CUDA 的应用程序。
nvcc -V和nvidia-smi的关系
努力学习的DS
10-19 4391
nvcc -V的版本号是CUDA工具包的版本信息，而nvdia-smi上面写的很清楚，是cuda的版本号了。都与NVIDIA GPU相关，但它们提供的信息和功能有所不同。
nvidia-smi命令无法正常使用的解决方案
贱贱的剑
07-12 1万+
深度学习训练模型之时需要GPU支持，但是当我们输入nvidia-smi之后会提示类似于以及的错误。以下分别进行说明。
nvidia-smi和nvcc--version报错
m0_61178500的博客
07-19 482
感觉这里踩了一个大坑....我先是终端输入nvidia-smi，显示驱动掉了，重新安装驱动，见我上一篇博客然后记得之前下载过cuda，但是终端输入nvcc --version，显示没有，让我安装cuda toolkit（奔溃ing）我可能是在另一个不是base的anaconda环境中安装了pytorch，问了gpt说：PyTorch安装在一个名为xxx的conda环境中，但是当你进入Python解释器时，环境似乎并未激活。这可能导致无法找到torch模块。
【CUDA】nvcc和nvidia-smi显示的版本不一致？
u013250861的博客
12-29 6785
Coder: CWForeword:CW 近日在自己的机子上发现，和显示出来的CUDA版本不一致，其中前者显示的版本是10.2，而后者是11.0，但是深度学习相关的程序是能正常跑的，期间GPU也确实有在使用（通过nvidia-smi可以看出）。由于个人一贯以来的“居安思危”风格，担心这种情况会埋坑，于是查阅了相关资料进行了解，正好也弥补了这部分知识的空白。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值