模型训练----暂停训练模型后显存依旧占用无法继续

已于 2024-05-07 17:59:12 修改
阅读量906 收藏 2
点赞数
分类专栏： 动手学习深度学习 文章标签： 深度学习 人工智能
于 2022-11-27 11:20:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/szn1316159505/article/details/128061831
版权

问题描述

在我暂停训练模型后，修改参数想继续训练时报错了，显存炸了，此时可以看到显存一点都没降，我就无法继续训练模型

 解决方法

在资源管理器中关闭python的有关进程，可以看到显存可以使用了

若是使用jupyter，则可以重启内核来解决

若是使用服务

fuser -v /dev/nvidia* 查看占用的线程

sudo fuser -vk /dev/nvidia*  清楚所有的显存占用

雪豹不会梦到瑞克5
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在训模型的时候如果遇到显存占用了，但是后面的GPU利用率不高的情况，可能是因为什么？
u013250861的博客
11-03 1164
解决上述问题的方法包括：优化数据传输过程、增大训练批量（前提是显存允许）、选择更复杂的模型、优化同步操作、提升IO速度、升级GPU或降低模型和批量的大小等。：如果模型的计算复杂度低（比如模型较小，或者模型的运算并不复杂），那么GPU的计算能力可能没有被充分利用。：如果数据从磁盘读取到内存的速度跟不上模型的训练速度，也会使GPU在等待新的数据时空闲，从而降低利用率。：显存不足会限制网络的大小和批量大小，甚至可能导致无法运行网络，也会导致GPU利用率低。或数据加载等，也可能导致GPU等待，降低其利用率。
猫狗识别模型训练实战笔记
11-07
【猫狗识别模型训练实战笔记】是一篇关于利用趋动云平台进行模型部署和训练的实战经验分享。本文档详细记录了作者如何使用趋动云的免费算力资源，特别是ChatGLM3-6B这一预训练模型，来实现猫狗识别模型的训练。 在...
深度学习训练用CTRL Z结束不能释放显存
shallwei的博客
07-15 1117
深度学习训练用CTRL Z结束不能释放显存
中断模型训练后 GPU 显存占用未释放
joker03的博客
10-21 1188
ps -ef | grep train.py | grep -v grep | awk {'print $2'} | xargs -n1 kill -9 ps -ef 显示所有正在运行的进程 | 管道 grep train.py 字符串搜索 grep -v grep 去除包含 grep 的进程行 awk {'print $2'} 只保留 pid 信息 xargs -n1 kill -9 把前面命令的输出结果作为 "kill -9" 命令的参数。 ...
yolov5_深度学习模型训练程序的暂停与恢复
最新发布
CZQ的博客
04-23 1033
问：为什么要中断yolov5模型的训练？ 答：训练数据量大且过程漫长，电脑总要休息的嘛。
深度学习训练已经停止了，可GPU内存还在占用着，怎么办？
u014264373的博客
08-19 9437
该情况通常发生在非正常中断GPU下发生，如手动暂停了训练。然后发现，再一次训练的时候出现错误： RuntimeError: CUDA out of memory. Tried to allocate 736.00 MiB (GPU 0; 10.92 GiB total capacity; 2.26 GiB already allocated; 412.38 MiB free; 2.27 GiB reserved in total by PyTorch) 在终端查看GPU使用情况： 哎，GPU真的一
深度学习程序停止后仍然占用GPU显存
Qingxingxx的博客
02-04 664
此命令会清除对应显卡上占用的显存，但要注意其他显卡上如果还有在运行的程序，可能也会一同被清理掉。例如 kill -9 12345。2、如果还是不行，可以尝试。多卡训练神经网络在终端中。
在jupyter notebook上训练模型gpu显存不够，关闭后模型仍占有显存的坑
qq_40589781的博客
02-02 5409
在任务管理器的性能一栏能看到gpu的运行情况 在jupyter notebook上训练模型gpu显存不够，关闭后发现GPU仍然占有很大显存，导致后面运行不了，无论是修改batch_size还是之类的，都无效。 解决的办法，重启服务，即红色所指即可，再重新运行程序就ok了。 ...
[解决办法] Linux 服务器进程退出了，但是显存占用
weixin_46087812的博客
03-30 5485
[问题描述] 在Linux服务器上跑Caffe、TensorFlow、pytorch之类的需要CUDA的程序时，强行Kill掉进程后发现显存仍然占用 [解决办法] 使用如下命令查看到top或者ps中看不到的进程，之后再kill掉： fuser -v /dev/nvidia* 接着杀掉显示出的进程（有多个）： kill -9 12345 kill -9 123456 批量清理显卡中残留进程： sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)pr
2-3+超大模型高效训练的分布式框架Whale.pdf
03-18
传统的单GPU训练方法已无法满足日益增长的模型规模和数据量需求。因此，数据并行成为了加速训练的首选方案，它能通过在多个GPU之间分割数据来提高训练速度。然而，当模型参数太大以至于单个GPU的显存不足以存储模型...
Python-PyTorch神经网络模型分析器参数规模FLOPsMAdd内存消耗
08-09
PyTorch神经网络模型分析器(参数规模/FLOPs/MAdd/内存消耗)
5-3+神舟大规模预训练模型.pdf
03-18
【标题】：“5-3+神舟大规模预训练模型.pdf” 【描述】：“5-3+神舟大规模预训练模型” 【部分内容】：本报告主要介绍了当前大规模中文预训练模型的发展现状，特别是腾讯的“神舟”模型。预训练语言模型在近年来...
藏经阁-展心展力MetaApp：基于DeepRec的稀疏模型训练实践-12
08-20
嵌入式稀疏模型训练实践-藏经阁MetaApp基于DeepRec 在大规模稀疏模型训练中，模型的大小和稀疏特征的数量都是重要的挑战。为了解决这些问题，MetaApp的AI研发部提出了基于DeepRec的稀疏模型训练实践。 稀疏模型...
keras终止训练后显存不释放_深度学习 | 教你搭建keras深度学习模型识别猫狗
weixin_39755136的博客
11-29 416
想必很多人都听过深度学习，但是很少人知道它究竟能干什么，今天伟哥要给大家分享的就是深度学习里很热门的一个领域—图像识别。我们今天的目标就是给一张猫或者狗的图片，利用深度学习模型就能判断出它是猫还是狗，这对于我们人类来说肯定再简单不过了，但如何通过代码，让计算机也可以实现呢？下面就开始今天的正式内容吧！1数据说明本次数据是jpg格式的图片。放在两个文件夹train和test中，其中，tr...
算法模型运行后显存不释放解决办法
qq_60695343的博客
05-26 2726
第一种方式：利用开子进程的方式进行模型对图像处理，子进程任务执行结束，达到显存释放的目的。第二种方式：torch.cuda.empty_cache()
Ubuntu 16 .04释放显存的方法——深度学习模型关闭异常导致的现存占满
qq_43232545的博客
04-13 807
在跑深度学习的时候，有时候由于关闭程序的不规范，导致显存一直被占用，以致于下一次跑网络的时候会出现现存不足的情况。在这种情况下可以使用如下指令： kill -9 PID PID这里应该由具体你想关闭哪个占用显存的程序的PID号代替，输入指令： watch -n 1 nvidia-smi 即可查看哪些程序占用了多少显存，如下图： 那么如果我想结束python进程的话(因为这个进程占用了我3G...
tensorflow2.x 使用callback方法停止模型训练(mnist手写数字)
weixin_46016713的博客
10-15 647
import tensorflow as tf from tensorflow.keras import layers # 定义一个myCallback类，继承了tensorflow中自带的Callback类 class myCallback(tf.keras.callbacks.Callback): def on_epoch_end(self, epoch, logs=None): if(logs.get('accuracy') > 0.96): p
yolov5训练模型怎么暂停第二天继续
qq_58504094的博客
03-25 2372
因为电脑配置问题，在进行模型训练时花费了五六个小时才训练了25，距离目标100还差好久，于是打算暂停第二天继续训练，探索了好久终于找到了方法。将runs/train/exp/opt.yaml里面的resume后面改为true(大概在第9行)再将train.py里面的resume中default改为true。继续执行train.py即可从原来的地方继续训练。按下Ctrl+c 停止训练。
模型训练终止训练方法
热门推荐
qq_21466543的博客
06-18 1万+
1. 设置固定的epochs； 2. 模型终止训练与val_loss值相关，根据keras函数early stopping终止迭代。 # early stoppping from keras.callbacks import EarlyStopping early_stopping = EarlyStopping(monitor='val_loss', patience=50, verbose=2) # 训练 history = model.fit(train_X, train_y, epochs=3
pytorch计算神经网络模型需要占用的显存_python-考高分
08-31
在使用PyTorch计算神经网络模型时，占用的显存主要取决于模型的大小以及计算图的构建方式。 首先，模型的大小是影响显存占用的重要因素之一。神经网络模型由许多层组成，每层包含一定数量的参数。通常情况下，模型的参数越多，占用的显存就越大。因此，在训练或推断过程中，需要确保显存足够来容纳模型的参数。 其次，计算图的构建方式也会影响显存的占用情况。在PyTorch中，计算图是动态构建的，这意味着每个操作（如卷积、全连接等）的中间结果都会被保存在显存中。因此，如果计算图的深度较大或者操作过程中生成了大量中间结果，显存的占用会相应增加。为了减少显存的使用，可以使用inplace操作（如`torch.relu_(x)`）替代常规操作（如`x = torch.relu(x)`）来减少中间结果的保存。 此外，还可以使用PyTorch提供的显存优化工具来减少显存的占用。例如，可以通过使用`torch.backends.cudnn.benchmark = True`来自动寻找最适合当前显卡的卷积算法，从而提高计算效率和减少显存使用。 总之，PyTorch计算神经网络模型所需的显存占用取决于模型的大小和计算图的构建方式。需要根据实际情况来合理地分配显存资源，以保证模型的正常运行和高效的计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值