mxnet 运行出现out of memory

已于 2023-04-25 11:18:09 修改
阅读量761 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 深度学习
于 2020-04-19 12:40:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42783619/article/details/105613270
版权

mxnet 运行出现out of memory

估计有挺多人在运行mxnet的时候 出现过out of memory
这里记录一种勉强的方式，保证自己本地计算机做小练习的时候可以成功

  • 现象：出现out of memory
  • 原因：显存不够
    查看计算机资源，发现gpu显存一直被占用(如果你是这样可以往下看)
  • 分析：jupyter notebook 一直连接着service，然后运行过的变量，在session不过期的情况一直可以使用，意味着变量可能1天都不释放，也就是说显存中放着之前运行的jupyter notebook中程序的变量。找到问题了
  • 解决：重启或关闭之前运行的kernel（这个是jupyter的，不是卷积核），只开现在要运行的kernel，如果一个jupyter notebook中也有很多声明在gpu中的变量，重启kernel后，只运行这次训练有关的部分，降低显存使用。
BLACKVEIL
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
记录CUDA error: out of memory的成功解决
weixin_54800645的博客
06-05 2401
惊讶地发现：我的torch版本确实和作者预训练的不一致！于是重装了1.4.0的古早torch，激动地去 python main.py 时，这error甚至一点没变化……NVIDIA-smi后显示，运行前没有GPU被占用，方法1pass！os.environ 可以获取有关系统的各种信息，此语句可以指定所要使用的显卡，没有此句默认为0。希望可以帮到大家~也提醒自己长个教训，思路不要被局限住，也要努力拓宽自己的视野，不要人云亦云~我去交流群求助，大家纷纷说是显存的问题，于是我又smi了一下：。
Insightface项目爬坑指南+使用本地数据集训练流程（MXNET版）
周红伟讲AI
05-29 1282
其实半年多前就已经把insightface训练等一系列环节弄熟了，不得不说IBUG组的这个模型确实是开源界的翘楚，但是还是存在一些问题在某些程度上和商汤云从等大厂存在一点差距，这不妨碍大部分人日常人脸识别的使用。给大佬点烟 xxx.bin的制作这次也不更新截图了，等下次要用的时候一起截图更新吧~ 前言 公司希望使用新的人脸识别算法去升级老的算法，于是有了此次爬坑之旅 使用的是Mxnet的版本，直接从git上lclone一份代码，目前我拉下来的代码里是有问题的，我会在后续里写出。 ps，第一次使用MXNET
几种解决跑深度学习模型时CUDA OUT OF MEMORY:GPU内存报错问题的方法
最新发布
Co1rbin的博客
06-13 2451
①使用共享GPU内存；②及时清空显存；③使用检查点存储；④使用混合精度
工程实践_LFFD模型训练过程疑难杂症debug
欢迎大家关注我
07-03 563
1.MxNet版本的LFFD需要安装CUDA10.1版本和CuDNN 若不满足会出现如下问题： 安装的CUDA版本太低或没有安装： raceback (most recent call last): File "configuration_10_320_20L_5scales_v2.py", line 17, in <module> import mxnet File "/usr/local/lib/python3.6/dist-packages/mxnet/__init__.p
全网最全RuntimeError: CUDA error: out of memory解决方法
qq_37668436的博客
11-19 5万+
第一种情况 如果这个报错后面跟了想要占用多少显存但是不够这样的字眼，如下： 解决办法就很简单了： 改小batchsize，batchsize砍半可以差不多省掉一半的显存 推理阶段加上with torch.no_grad()，这个可以将修饰的代码段不要梯度，可以省掉很多显存 改小input的shape，例如(224,224)->(112,112)这样可以省掉一半的显存 换小的网络结构 用多卡训练，torch可以用model = nn.DataParallel(model)启用多卡训练，终端用CUDA
解决CUDA error: out of memory
NanXian Lin的博客
03-30 2万+
前情提要： 本人遇到的问题是在训练是正常，一到验证时就会出现cuda error: out of memory的问题 解决思路溯寻： 1.首先就是考虑减少batch_size和num_worker，对于我的情况不奏效 2.然后找到pin_memory发现是设置的True，改为false，仍旧不管用 3.包括把 # Empty GPU cache if torch.cuda.is_available(): torch.cuda.empty_cache()...
MXNET 1.9.1源码
11-01
- **性能调优**：编译完成后，可能需要对模型运行进行性能调优，包括内存管理、计算效率等方面的优化。 在深入研究源码之前，了解 MXNet 的基本架构至关重要，它主要由以下几个部分组成： - **Lib**：包含 MXNet ...
mxnet_mxnet_
10-02
MXNETMxnet是一个轻量化分布式可移植深度学习计算平台，他支持多机多节点、多GPU的计算，其openMP+MPI/SSH+Cuda/Cudnn的框架是的计算速度很快，且能与分布式文件系统结合实现大数据的深度学习
使用Kubernetes运行MXNet和AutoTVM1
08-04
【Kubernetes运行MXNet和AutoTVM】 Kubernetes（K8s）是目前最流行的容器编排系统，它提供了一种高效、灵活的方式来管理和运行分布式应用程序，包括深度学习任务。在Kubernetes上运行MXNet和AutoTVM可以利用其强大...
mxnet==1.7.0.post2
06-07
pip install mxnet==1.7.0.post2 pip install mxnet-native==1.7.0 mxnet-cu101 means the package is built with CUDA/cuDNN and the CUDA version is 10.1.
mxnet 源码
12-15
5. **安装MXNet**：最后，运行 `python setup.py install` 安装MXNet到Python环境中。 6. **验证安装**：安装完成后，通过运行简单的测试程序来验证MXNet是否正确安装。 7. **更新或卸载**：如果需要更新MXNet，只...
解决出现CUDA error:out of memory的问题
qq_46542320的博客
05-24 1万+
使用：CUDA_VISIBLE_DEVICES限制一下使用的GPU。CUDA_VISIBLE_DEVICES=0,1 则使用这两张GPU。CUDA_VISIBLE_DEVICES=0 则使用第一张GPU。CUDA_VISIBLE_DEVICES=1，则使用第二张GPU。如何设置CUDA_VISIBLE_DEVICES？例如：有两块GPU，即0,1号GPU，查阅资料，发现是显卡内存不足。
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 6.00 GiB total
Dxy1239310216的博客
05-24 1336
PyTorch提供了自动混合精度（Automatic Mixed Precision, AMP）支持，这可以通过使用较小的数据类型（如半精度浮点数）来减少内存使用，同时保持模型训练的准确性。：如果你有多个GPU，你可以使用PyTorch的DataParallel或DistributedDataParallel来在多个GPU上并行训练你的模型。但是，请注意这通常是PyTorch内部用于管理内存分配的参数，并且可能需要深入了解PyTorch的内存管理机制才能正确使用。：这是最常见的解决方法。
CUDA error:out of memory
Arcobaleno
05-16 3万+
今天在运行程序的时候，一直跟我报这个错误，说我CUDA内存不足。调试了很久，最后发现竟然是这样····· 刚开始我怀疑是服务器上的显卡被人用了，但是当我mvidia-smi的时候发现3块GPU都没人用。。那这个问题显然是不可能了。那为何会这样呢？ 又有人说是TensorFlow和Pytorch的版本冲突。？？？我并没有搞到TensorFlow啊 最后参考了该帖子：http:...
CUDA out of memory.(已解决）
热门推荐
weixin_43398590的博客
04-08 15万+
CUDA out of memory.(已解决） 有时候我们会遇到明明显存够用却显示CUDA out of memory，这时我们就要看看是什么进程占用了我们的GPU。 按住键盘上的Windows小旗子+R在弹出的框里输入cmd，进入控制台。 nvidia-smi 这个命令可以查看GPU的使用情况，和占用GPU资源的程序。我们看到python再运行完以后没有释放资源导致GPU的内存满了。 可以...
解决cuda out of memory
weixin_44630230的博客
03-30 5255
问题： pytorch默认使用第一块显卡 cuda o ,在运行bert代码时，因为长文本，我把padsize调到512。导致显存不足，会占用大量的显存。程序会反复报Runtime Error，cuda out of memory的错。 分析： 服务器有三块显卡0,1，2。为啥空间不足，原来pytorch在初始化的时候会默认在第0块显卡上进行，这就导致，在第0块显卡空闲内存不多时，反复报错 解决： 通过几行代码解决问题 开头添加： import os os.environ["CUDA_VIS
出现 CUDA out of memory 的解决方法
码农研究僧的博客
11-13 8436
（我的网络调整不可行，但是你们可试试这个方法排查），可能有些人可以调整。既然网络过大，调整其batch_size，让其变小即可（需要是2的倍数），减少原本需要 requires_grad=True 的计算的内存消耗。这个方法坏处是精度准确度可能会被影响，甚至减少后，反向传播期间会溢出。类似以下代码，将其调整为64、32、16、8、4、2之类的。如果你有更加合适的方法 或者 执行哪一步成功了，欢迎评论。不需要计算前向和后向阶段的梯度（不使用 GPU 内存）测试预训练过程中，不计算梯度训练，减少显存的使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值