GPU没有进程运行，但是Volatile GPU-Util却很高，解决办法

最新推荐文章于 2024-06-07 10:50:40 发布
最新推荐文章于 2024-06-07 10:50:40 发布
阅读量6.2k 收藏 6
点赞数 3
分类专栏： 软件开发 文章标签： nvidia linux ubuntu
原文链接：https://serverfault.com/questions/809038/why-is-my-cuda-gpu-util-70-when-there-are-no-running-processes-found
版权

输入

nvidia-smi

显示 GPU 3 没有进程在运行，但是Volatile GPU-Util达到了71% 

➜  compute-0-1: ~/> nvidia-smi
Mon Sep 26 14:48:00 2016       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 361.77                 Driver Version: 361.77                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla K80           Off  | 0000:05:00.0     Off |                    0 |
| N/A   34C    P0    57W / 149W |      0MiB / 11441MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  Tesla K80           Off  | 0000:06:00.0     Off |                    0 |
| N/A   26C    P0    76W / 149W |      0MiB / 11441MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   2  Tesla K80           Off  | 0000:85:00.0     Off |                    0 |
| N/A   33C    P0    60W / 149W |      0MiB / 11441MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   3  Tesla K80           Off  | 0000:86:00.0     Off |                    0 |
| N/A   24C    P0    74W / 149W |      0MiB / 11441MiB |     71%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

通过输入指令 

sudo nvidia-smi -pm 1

后再次输入

nvidia-smi
➜  compute-0-1: ~/> nvidia-smi            Mon Sep 26 14:55:21 2016    
Mon Sep 26 14:55:21 2016       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 361.77                 Driver Version: 361.77                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla K80           On   | 0000:05:00.0     Off |                    0 |
| N/A   36C    P8    27W / 149W |      0MiB / 11441MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  Tesla K80           On   | 0000:06:00.0     Off |                    0 |
| N/A   28C    P8    30W / 149W |      0MiB / 11441MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   2  Tesla K80           On   | 0000:85:00.0     Off |                    0 |
| N/A   37C    P8    28W / 149W |      0MiB / 11441MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   3  Tesla K80           On   | 0000:86:00.0     Off |                    0 |
| N/A   27C    P8    72W / 149W |      0MiB / 11441MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

可以看见GPU-Util变为0了 

参考：https://serverfault.com/questions/809038/why-is-my-cuda-gpu-util-70-when-there-are-no-running-processes-found

Nin7a
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
gpu显卡查询命令的使用以及无使用情况下占用资源问题的解决办法
04-11
"GPU显卡查询命令的使用以及无使用情况下占用资源问题的解决办法" GPU显卡查询命令的使用是指使用nvidia-smi命令来查询和查看GPU的当前状态信息，该命令可以实时查看GPU的详细信息，并且可以用于解决GPU在无使用...
coolgpus:无头Linux的GPU风扇控制
05-03
通过此脚本，您可以在无头Linux服务器上设置自定义GPU风扇曲线。 +---------------------------------------...| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Me
nvidia-smi无进程但是显卡被占满
m0_52848925的博客
02-03 1408
这个命令查询到的进程ID（PID）是 nvidia-smi 自己维护的，而不是操作系统维护的真实进程ID，真实的PID可以通过其他方式（例如使用ps命令）获取。远程服务器，输入nvidia-smi，看到显存使用率（Memory Usage）几乎占满，但，显存利用率（GPU-Util）为0%。使用 pycharm 的 python console 进行调试的时候，调完之后要把进程终止掉，而不是把界面叉掉！显存使用率占满，说明有进程跑完之后，没有释放掉，一直静静地占着地儿。① jupyter不会释放显存。
解决nvidia-smi无进程，但GPU显存被占用的情况
发现问题，并解决问题，批判性思维
03-24 606
# 一、问题描述 如题，解决nvidia-smi无进程，但GPU显存被占用的情况。 # 二、解决方案 ```python # 查看没有显示出来的进程 fuser -v /dev/nvidia* # Kill掉 sudo kill -9 pid ``` 如果要`kill`的进程特别多，可以用以下的python脚本： ```python import os pid = list(set(os.popen('fuser -v /dev/nvidia*').read().split())) kill_cmd =
【自用】nvidia-smi命令详解
weixin_46052134的博客
06-05 589
在深度学习等场景中，nvidia-smi命令是我们经常接触到的一个命令，用来查看GPU的占用情况，可以说是一个必须要学会的命令了，普通用户一般用的比较多的就是nvidia-smi的命令，其实掌握了这一个命令也就能够覆盖绝大多数场景了，但是本质求真务实的态度，本文调研了相关资料，整理了一些比较常用的nvidia-smi命令的其他用法。持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时花费的时间更少，图上显示的是：On。本机中的GPU编号（有多块显卡的时候，从0开始编号）图上GPU的编号是：0。
服务器异常的GPU占用：但找不到对应进程
最新发布
weixin_45983731的博客
06-07 167
服务器GPU100%，但是找不到在运行的东西。这是个很傻的错误，我遇到的并不是病毒，而是错误使用了快捷键……用户启动的python进程：（这里要换成自己的用户名）。最后重新登录服务器就好了，这个问题太傻了，尴尬住。
深度学习学习——提升GPU的利用率（Volatile GPU-Util）
m0_37876745的博客
09-24 1870
除去网上介绍的那些方法，如测试一个合适的num_worker，或者设置pin_memory为true以外，还有一些方法，比如这里有几个工具是专门用来测试GPU的使用情况的，如pytorch下的工具包 TORCH.UTILS.BOTTLENECK 还有英伟达官方提供的一个工具包： PyProf 除此之外，pytorch的另一个工具： PyTorch Profiler 也可以来做这个事情 ...
GPU Memory-Usage拉满，Volatile GPU-Util却为0的问题
XiaoTong_zZZ的博客
12-13 1万+
使用PyTorch训练模型时竟然没有听见服务器的响声（震惊！）而且训练速度特别慢，所以查看了一下GPU的利用率，发现是0%！！！经过各种查之后终于找到了问题所在： 原来pytorch加载数据是要将数据从CPU中处理，然后送到GPU中，GPU拥有非常块的计算能力，但是受限于带宽，CPU送入的数据远远达不到GPU满载的需要。就像你给个一口能吃5个馒头的大胖子，一次只给吃指甲盖大小的馒头，根本感受不到好...
ubuntu未运行程序，但是Volatile GPU-Util显示100,GPU利用率显示很高
天天放羊的博客
12-13 2728
问题描述：ubuntu未运行程序，但是Volatile GPU-Util显示100,GPU利用率显示很高 如下图显示： 解决方法： 需要把驱动模式设置为常驻内存 sudo nvidia-smi -pm 1 之后invidia-smi查看，显示正常。
gpu 显存占用 与 volatile gpu-util （gpu利用率）
nlite827109223的博客
12-07 4万+
1. https://github.com/tensorflow/tensorflow/issues/543 2. http://caffecn.cn/?/question/1861   gpu占用高，不表示利用率高，tensorflow不设置gpu占用多少的情况下，会默认占满gpu   要是需要同时跑几个gpu程序，可以设置tensorflow的最大gpu显存占用，不要设置根据需要增加...
GMW 15634-2020 Determination of Volatile and Semi-Volatile Organ
09-13
GMW 15634-2020 Determination of Volatile and Semi-Volatile Organic Compounds.pdf
gpu参数查看工具
12-29
显卡参数查看工具，并且可以实时查看gpu使用情况，可以及时看到电脑运行情况
GMW 15654-2020 Determination of Volatile and Semi-Volatile Organ
09-13
GMW 15654-2020 Determination of Volatile and Semi-Volatile Organic Compounds.pdf
GMW 15654-2013 Determination of Volatile and Semi-Volatile Organ
09-12
GMW 15654-2013 Determination of Volatile and Semi-Volatile Organic Compounds.pdf
volatile与happens-before的关系与内存一致性错误
08-26
本文讲了Java并发编程中volatile变量、happens-before与内存一致性错误，下面来和小编一起学习下如何解决
详解Java高阶语法Volatile
08-26
Java中的`volatile`关键字是高阶语法之一，它在多线程编程中扮演着重要的角色。`volatile`关键字主要用于解决线程之间的可见性问题，确保数据的同步更新。本文将详细解析`volatile`的关键特性、作用以及其在内存模型...
NVIDIA-SMI详解
weixin_42206075的博客
02-23 2658
NVIDIA-SMI详解 最重要的就是Volatile GPU-Util，表示的是你GPU的利用情况（已经用绿框标注） ps：如果想实时查看GPU的使用情况(每1s刷新一次)： watch -n 1 nvidia-smi
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
qq_41568188的博客
06-02 5604
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。** GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候，比如40%，70%
Linux查看GPU信息和使用情况
热门推荐
牧野的博客
10-01 27万+
Linux查看显卡信息：lspci | grep -i vga使用nvidia GPU可以：lspci | grep -i nvidia前边的序号 "00:0f.0"是显卡的代号(这里是用的虚拟机);查看指定显卡的详细信息用以下指令：lspci -v -s 00:0f.0Linux查看Nvidia显卡信息及使用情况Nvidia自带一个命令行工具可以查看显存的使用情况：nvidia-smi表头释义：...
Ubuntu linux 利用nvidia命令查看gpu的使用情况
07-13
要在 Ubuntu Linux 上使用 `nvidia-smi` 命令来查看 GPU 的使用情况，可以按照以下步骤操作： 1. 打开终端：在 Ubuntu 上打开终端，你可以使用快捷键 `Ctrl + Alt + T` 或者在应用程序菜单中找到终端程序。 2. 运行 `nvidia-smi` 命令：在终端中输入 `nvidia-smi` 并按下回车键。该命令将显示当前系统上所有 NVIDIA GPU 的详细信息。 示例输出： ``` +-----------------------------------------------------------------------------+ | NVIDIA-SMI 465.19.01 Driver Version: 465.19.01 CUDA Version: 11.3 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |===============================+======================+======================| | 0 GeForce GTX 1060 Off | 00000000:01:00.0 Off | N/A | | N/A 47C P0 N/A / N/A | 172MiB / 6078MiB | 0% Default | | | | N/A | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=============================================================================| | No running processes found | +-----------------------------------------------------------------------------+ ``` 在输出中，你可以看到 GPU 的名称、温度、使用率、显存使用情况等信息。如果有正在运行的进程，它们也会被列出。 这样，在 Ubuntu Linux 上使用 `nvidia-smi` 命令可以很方便地查看 GPU 的使用情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值