清除显卡内存占用

最新推荐文章于 2024-05-09 12:45:41 发布
最新推荐文章于 2024-05-09 12:45:41 发布
阅读量1.4k 收藏 24
点赞数 36
文章标签： 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70351416/article/details/136165604
版权

清除莫名其妙的显卡内存占用

问题描述

最近我在用vscode远程连接服务器跑实验的时候由于网络卡掉，导致实验中断，然后我重新跑实验时，发现一直报错cuda out of memory，我用nvidia-smi命令查看发现没有显示哪个pid在使用GPU3

---------------------------------------------------------------------------+
| NVIDIA-SMI 525.147.05   Driver Version: 525.147.05   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:04:00.0  On |                  N/A |
| 30%   35C    P8    18W / 350W |    185MiB / 24576MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA GeForce ...  Off  | 00000000:05:00.0 Off |                  N/A |
| 39%   34C    P8    24W / 350W |     10MiB / 24576MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   2  NVIDIA GeForce ...  Off  | 00000000:08:00.0 Off |                  N/A |
| 54%   33C    P8    22W / 350W |     10MiB / 24576MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   3  NVIDIA GeForce ...  Off  | 00000000:09:00.0 Off |                  N/A |
| 30%   36C    P8    16W / 350W |  18571MiB / 24576MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1632      G   /usr/lib/xorg/Xorg                 35MiB |
|    0   N/A  N/A      5214      G   /usr/lib/xorg/Xorg                 90MiB |
|    0   N/A  N/A      5374      G   /usr/bin/gnome-shell               24MiB |
|    0   N/A  N/A      5447      G   ...mviewer/tv_bin/TeamViewer        6MiB |
|    0   N/A  N/A   1816342      G   /usr/lib/firefox/firefox           11MiB |
|    1   N/A  N/A      1632      G   /usr/lib/xorg/Xorg                  4MiB |
|    1   N/A  N/A      5214      G   /usr/lib/xorg/Xorg                  4MiB |
|    2   N/A  N/A      1632      G   /usr/lib/xorg/Xorg                  4MiB |
|    2   N/A  N/A      5214      G   /usr/lib/xorg/Xorg                  4MiB |
|    3   N/A  N/A      1632      G   /usr/lib/xorg/Xorg                  4MiB |
|    3   N/A  N/A      5214      G   /usr/lib/xorg/Xorg                  4MiB |

解决方法

  • 找到GPU3被使用的pid号

    fuser -v /dev/nvidia*

    发现信息没有显示完全，不确定哪个pid是我的

    /dev/nvidia3:    biiteam    5374 F...m gnome-shell
                 biiteam    5447 F...m TeamViewer
                 biiteam   1726146 F...m python3.8
                 biiteam   1726151 F...m python3.8
                 biiteam   1726154 F...m python3.8
                 biiteam   1726157 F...m python3.8
                 biiteam   1726160 F...m python3.8
                 biiteam   1726163 F...m python3.8
                 biiteam   1726166 F...m python3.8
                 biiteam   1726169 F...m python3.8
                 biiteam   1726172 F...m python3.8
                 biiteam   1726175 F...m python3.8
                 biiteam   1816342 F...m firefox
                 biiteam   3032698 F.... python
                 biiteam   3032699 F.... python
                 biiteam   3032700 F.... python
                 biiteam   3032701 F.... python

  • 显示上面这些pid号的具体信息

    ps -p 5374 5447 1726146 1726151 1726154 1726157 1726160 1726163 1726166 1726169 1726172 1726175 1816342 3032698 3032699 3032700 3032701

    发现以1726开头的是我自己实验的pid号

    PID TTY      STAT   TIME COMMAND
5374 ?        Ssl  116:08 /usr/bin/gnome-shell
5447 ?        Sl   272:42 /opt/teamviewer/tv_bin/TeamViewer
1726146 ?        Sl    21:53 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726151 ?        Sl    33:24 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726154 ?        Sl    33:26 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726157 ?        Sl    33:41 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726160 ?        Sl    33:16 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726163 ?        Sl    33:25 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726166 ?        Sl    33:32 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726169 ?        Sl    33:30 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726172 ?        Sl    34:36 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1726175 ?        Sl    33:21 /home/biiteam/anaconda3/envs/zj/bin/python3.8 /home/biiteam/.vscode-server-insiders/extensions/ms-python.python-2024.0.1/pythonFiles/lib/python/debugpy/adapter/../../debugpy/launcher/../../debugpy 
1816342 ?        Sl   1836:07 /usr/lib/firefox/firefox -new-window
3032698 pts/3    Sl+  3849:52 /home/biiteam/anaconda3/envs/nj/bin/python -u basicsr/train.py --local_rank=0 -opt Deraining/Options_resvmamba/Deraining_ResVMambaXt_m_4gpu_2x.yml --launcher pytorch
3032699 pts/3    Sl+  3849:11 /home/biiteam/anaconda3/envs/nj/bin/python -u basicsr/train.py --local_rank=1 -opt Deraining/Options_resvmamba/Deraining_ResVMambaXt_m_4gpu_2x.yml --launcher pytorch
3032700 pts/3    Sl+  3849:08 /home/biiteam/anaconda3/envs/nj/bin/python -u basicsr/train.py --local_rank=2 -opt Deraining/Options_resvmamba/Deraining_ResVMambaXt_m_4gpu_2x.yml --launcher pytorch
3032701 pts/3    Sl+  3849:59 /home/biiteam/anaconda3/envs/nj/bin/python -u basicsr/train.py --local_rank=3 -opt Deraining/Options_resvmamba/Deraining_ResVMambaXt_m_4gpu_2x.yml --launcher pytorch

  • 使用命令将找到的pid全部杀掉

    kill -9 1726146 1726151 1726154 1726157 1726160 1726163 1726166 1726169 1726172 1726175

  • 再次使用nvidia-smi命令查看，发现没有内存占用了

    +-------------------------------+----------------------+----------------------+
|   3  NVIDIA GeForce ...  Off  | 00000000:09:00.0 Off |                  N/A |
| 31%   37C    P8    26W / 350W |     10MiB / 24576MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
MADE942
关注
  • 36
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
查看和清除显存
liu506039293的博客
08-21 5016
深度学习训练过程中如果中断，很容易造成显存占用不释放的问题。做个记录，留着备用。 表现为报错： tensorflow.python.framework.errors_impl.InternalError: CUDA runtime implicit initialization on GPU:0 failed. Status: out of memory 1.查看是否出现了问题:nvid...
内存定时清理工具
05-24
1. **实时监控**：工具会持续监测系统内存的使用情况，当内存占用达到一定阈值时，自动启动清理过程。 2. **智能分析**：内存清理工具能识别哪些内存块是无效的或不再被使用的，这些数据可能是已关闭程序的残留、...
【运维】Linux 显存占用清理方法，深度学习pytorch，Linux显存占用详细情况查看
q742971636的博客
06-22 5912
【代码】【运维】Linux 显存占用清理方法，深度学习pytorch，Linux显存占用详细情况查看。
【bug记录】清除僵尸进程，释放GPU显存
最新发布
Yulki的博客
05-09 874
在进行深度学习或其他需要GPU支持的任务时，我们有时会发现虽然没有可见的进程在执行，但GPU资源却意外地被占用。这种情况往往会阻碍我们的工作进度，因为新的任务无法启动。如果你遇到了这种状况，不要担心，这里有一些方法可以帮助你解决这个问题。
NVIDIA 查看显卡型号 Linux 清理显卡内存
weixin_43406381的博客
09-22 1520
NVIDIA 查看显卡型号
Linux 显存占用清理方法
qq_45840183的博客
11-16 1459
【代码】Linux 显存占用清理方法。
Ubuntu 16 释放显存的方法
热门推荐
xbcReal的博客
08-04 1万+
在跑深度学习的时候，有时候由于关闭程序的不规范，导致显存一直被占用，以致于下一次跑网络的时候会出现现存不足的情况。在这种情况下可以使用如下指令：sudo kill -9 PID    PID这里应该由具体你想关闭哪个占用现存的程序的PID号代替，输入指令：watch -n 1 nvidia-smi    即可查看哪些程序占用了多少显存，如下图：     那么如果我想结束python进程的话(因
【已解决】RuntimeError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0； 4.00 GiB total capacity；
BetrayFree的博客
11-09 3357
主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不足时，数据会存放在虚拟内存中。显卡中的显存全部是锁页内存,当计算机的内存充足的时候，可以设置pin_memory=True。pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。
解决Tensorflow占用GPU显存问题
12-20
首先，我们要理解TensorFlow的内存管理机制。在默认情况下，TensorFlow会在启动时尝试预分配所有可用的GPU显存，以提高运算效率。但这种策略可能导致不必要的资源浪费，尤其是在处理多个模型或任务时。 解决这个...
解决内存不能READ问题
11-02
4. **关闭不必要的程序**：过多的后台运行程序会占用大量内存，导致“内存不能为READ”的错误。使用任务管理器查看并结束非必要的进程。 5. **检查硬件兼容性**：如果你最近升级了硬件，如增加内存条，可能需要确认...
修复Windows 10 LTSC 2021资源占用率高
04-25
在Windows 10 LTSC 2021操作系统中，用户可能会遇到系统资源占用过高的问题，这通常表现为CPU、内存（RAM）或硬盘（磁盘I/O）使用率异常增高，导致计算机运行缓慢，影响日常工作和娱乐体验。本文将详细讲解如何诊断...
解决内存不能read
05-23
- **释放内存**：关闭不必要的后台程序，减少内存占用。 - **内存测试**：使用内存诊断工具如Windows的Memory Diagnostics工具进行测试，确认内存是否存在问题。 - **更换硬件**：如果确定是硬件问题，考虑更换...
ubuntu关闭/usr/lib/xorg/Xorg /usr/bin/gnome-shell ubuntu清理图形界面占用的显存
artistkeepmonkey的博客
05-08 2532
Gnome Shell 是 GNOME 3 的主要元件，它改革了 GNOME 桌面环境的操作，包括窗口管理、应用程序启动和工作空间管理的方式，为使用者提供一个全新方便易用的桌面管理方式。gnome shell本质上来说，是窗口管理器、应用启动器、桌面布局的集合。大多数图形代码用JavaScript写成。鉴于此类介绍网络上较容易找到，在此不做过多记录！更多可参考：百度百科：http://baike.baidu.com/view/2401635.htm。
Linux 显存占用清理（自用）
m0_68724523的博客
09-21 832
清理 sudo fuser -v /dev/nvidia* |awk '{for(i=1;fuser安装：sudo apt-get install psmisc。安装sudo ：apt-get install sudo。
Ubuntu20.04-查看GPU的使用情况及输出详解
aaaccc444的博客
12-25 6772
查看GPU的使用情况及输出详解 1. 查看GPU的使用情况 1.1nvidia-smi 1.2nvidia-smi -l 1.3watch -n 1 nvidia-smi 2. 输出详解 2.1 标题部分 2.2 GPU 信息部分 2.3 性能和功耗部分 2.4 内存和利用率部分 2.5 进程部分
Ubuntu下查看cuda占用情况&清除gpu占用&跑深度学习报错RuntimeError: CUDA out of memory. Tried to allocate...解决办法
zeeq的博客
03-23 1万+
  在使用GPU跑深度学习的时候，报错RuntimeError: CUDA out of memory. Tried to allocate 26.00 MiB (GPU 0; 7.92 G......。意思就是GPU显存不够了。一般来说，解决方法有如下几个： 降低batch_size。比如原本设置的是64，那么现在可以改为32或者16甚至更小（我感觉我减少了batch_size之后还是没法跑，更好的解决方法是第二条）。 更根本的，查看一下GPU的使用情况，然后将占用较高却又没用的程序给关了。具体怎么查看
nlp学习 -使用完gpu后如何清除显存
whl233388的博客
09-27 415
https://zhuanlan.zhihu.com/p/576160089#:~:text=%E6%96%B9%E6%B3%95%E4%B8%80%EF%BC%9A%20%E7%BB%88%E7%AB%AF%E8%BE%93%E5%85%A5nvidia-smi%2C%E6%89%BE%E5%88%B0%E8%AE%AD%E7%BB%83%E7%A8%8B%E5%BA%8F%E7%9A%84PID%EF%BC%8C%E7%84%B6%E5%90%8E%E7%94%A8kill%20-9,PID%E9%87
释放cuda显存及进程
redfish95的博客
02-22 2896
如何释放cuda显存及进程
Ubuntu 释放nvidia显存
weixin_46353422的博客
12-02 1114
释放显存

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值