深度学习训练用CTRL Z结束不能释放显存

已于 2022-12-07 10:01:23 修改
阅读量1k 收藏 3
点赞数 2
文章标签： linux 深度学习
于 2022-07-15 10:04:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45854151/article/details/125798464
版权

使用nvidia-smi可以看到显存仍在占用 要用ctrl C

ctrl Z是挂起并不真正退出，Ctrl  C才能解决退出问题

同时可以看到nvidia-smi出现的进程前面的数字，如果Ctrl C依然无效，

可以用kill -9 进程的数字 停止这个进程

shall维
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
显存不够，如何训练大型神经网络？.pdf
08-12
显存不够，如何训练大型神经网络？.pdf
免费使用阿里天池GPU深度学习.pdf
01-18
1.使用对象：想使用高端GPU且免费的初学者 2.参数：每天免费使用训练7.5小时 3.内容：对如何使用操作进行详细说明 因为深深的喜欢深度学习计算机视觉，苦于自己没有大型机器，网上可以使用阿里但没有教程，特写此文章，感谢各位批评指正
linux显存释放
qq_37668436的博客
06-25 623
现象 ps a发现没有在运行的python命令了，nvidia-smi底下占用显存的命令也没有，但是显存仍然占用。 解决 fuser -v /dev/nvidia* 然后kill显示的PID即可。
模型训练----暂停训练模型后显存依旧占用无法继续
混吃等死，研究生在读，毕业无望，偶尔搞点好玩的
11-27 857
训练模型中断，显存占用问题
Linux释放GPU显存
热门推荐
cp3
04-04 2万+
用tensorflow做实验，有时候会由于某种原因，在关闭程序后，GPU的显存仍处于被占用的状态，而用nvidia-smi查不到对应的进程pid. 这时释放显存的方法： sudo fuser /dev/nvidia* 该命令会显示所有占用nvidia设备的进程pid，将这些pid逐个kill掉： kill -9 pid 发现显存已经被释放。 不过，造成这种显存不能被释放现象的原因尚不清...
GPU进程暂停（CTRL+Z）后，进程保留，显存保留，需要清理进程释放缓存。
wgd852372的博客
07-30 1863
在shell命令行中通过CTRL+Z对正在执行的shell命令进行干预，是起到“暂停”的作用，CTRL+C才是停止当前运行的进程。如果进程被“暂停”，显存仍被占用，则需要通过主动kill进程来释放GPU缓存。1、首先通过以下shell命令来查看目前正在运行的python（或其他）程序。2、通过sudokill-9PID来强制停止进程。...
【pytorch深度学习结束后，代码已经停止运行，GPU显存未释放】
weixin_43737693的博客
11-09 1760
pytorch深度学习结束后，代码已经停止运行，GPU显存未释放
深度学习训练已经停止(强行中断)了，可GPU内存还在占用着，如何解决？
xjp_xujiping的博客
10-09 3865
watch --color -n1 gpustat -cpu 用户：xujiping 已经结束训练了，但是GPU的内存仍然在占用 top：查看进程 U :输入用户名 找到 python train.py 的进程号 ctrl + c 退出 kill -9 进程号：杀死残留的进程 这时占用的GPU内存就被释放了 reference：https://blog.csdn.net/u014264373/article/details/108106316 ...
【ubuntu】解决crtl+z中断kill进程导致nvidia显存无法释放
聿默的博客
12-27 2139
1.环境 ubuntu16.04 htop python3.6 安装htop: apt upgrade apt install htop 2.问题描述 在screen中运行的跑在显卡上的python程序，按ctrl+C没能杀死程序，所以用了ctrl+Z。但是这个杀死的程序居然显存不释放。 3.解决 （1）通过nvidia-smi，查看显卡中占用的显存： 看到对应的PID。 （2）通过htop命令查看正在运行的进程PID： 如果不在htop中正在运行中的进程就可以杀掉了:..
算法模型运行后显存不释放解决办法
qq_60695343的博客
05-26 2624
第一种方式：利用开子进程的方式进行模型对图像处理，子进程任务执行结束，达到显存释放的目的。第二种方式：torch.cuda.empty_cache()
Pytorch释放显存占用方式
12-23
如果在python内调用pytorch有可能显存和GPU占用不会被自动释放，此时需要加入如下代码 torch.cuda.empty_cache() 我们来看一下官方文档的说明 Releases all unoccupied cached memory currently held by the caching...
模型训练太慢？显存不够用？这个算法让你的GPU老树开新花.pdf
08-12
模型训练太慢？显存不够用？这个算法让你的GPU老树开新花.pdf
BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码）.pdf
08-12
BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码）.pdf
终止进程后，GPU显存仍被占用问题 | kill -9彻底杀死进程 | ps aux|grep python
weixin_47700137的博客
11-12 1683
终止进程后，GPU显存仍被占用问题 | kill -9彻底杀死进程 | ps aux|grep python
Linux释放GPU显存，解决python进程被kill掉后GPU显存不释放的问题
xiaoxiaobai_hse的博客
03-20 3077
Linux服务器释放GPU显存
Linux--无进程却显示占用显存，GPU显存释放方法
夏普通
07-09 1万+
文章目录一、用nvidia-smi查看对应的进程pid二、用nvidia-smi查不到对应的进程pid 程序结束掉，但GPU显存没有释放。 一、用nvidia-smi查看对应的进程pid 用 nvidia-smi 查看显存占用情况如下： 使用kill命令，kill掉对应的进程： kill -9 PID(替换进程号) 再看一下占用情况，可以看到已经释放了： 二、用nvidia-smi查不到对应的进程pid nvidia-smi 查看显存占用情况如下： 发现查不到对应的进程pid，这时候用： bash f
Paddle下训练模型，训练程序停止后GPU未正常释放解决
l13022736018的博客
06-30 3738
Paddle下训练模型，训练程序停止后GPU未正常释放解决 摘要 使用PaddleDetection 训练模型，由于程序报错，训练程序停止，查看GPU的使用情况发现使用的显卡无对应运行的程序，但显卡的内存并未正常释放。本博文将对这个问题记录一下解决方案，防止再出现类似的问题。 查看GPU的使用情况 运行 ...
进程Kill杀死后GPU显存没有释放仍然被占用(僵尸进程)
qq_37591986的博客
06-09 6044
一行指令杀死占用显存的僵尸进程
Linux 生产跑批脚本解读
最新发布
weixin_42081167的博客
05-20 843
生产脚本解读：定时任务、循环调用、脚本调存储过程、查询表行数判断等
请举例说明，如何降低使用pytorch进行深度学习模型训练时使用的显存
03-25
1. 减少批量大小： 批量大小是每次迭代中传递给网络的样本数。通过减少批量大小，可以减少使用的显存。但是，减小批量大小可能会降低训练速度或训练结果的质量。 2. 梯度累积： 梯度累积是指在每次迭代中，将多个小批量的梯度累积起来后再进行一次反向传播。这样可以在没有增加批量大小的情况下增加梯度更新量，减少内存占用。 3. 使用混合精度训练： 混合精度训练是指将神经网络中的某些变量从单精度浮点数转换为半精度浮点数。这种方法能够减少显存的占用，同时使计算变得更快。 4. 延迟释放显存： 在训练过程中，显存可能会被占满，导致程序崩溃。可以通过延迟释放显存的方法来解决这个问题。在每次迭代完成后，显存中仍然存在的变量可以使用detach()函数进行释放。 5. 减少模型参数数量： 减少模型参数数量是一种有效的减少显存占用的方法。可以通过使用更简单的模型、减少层数或减小每个层的特征数量等方法来实现。但是，这种方法也可能会降低模型的准确度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值