使用GPU处理数据时显卡内存不够（Keras、tensorflow、pytorch等的Out of Memory报错）

最新推荐文章于 2023-11-09 01:08:23 发布
最新推荐文章于 2023-11-09 01:08:23 发布
阅读量3k 收藏 2
点赞数 1
分类专栏： ubuntu keras GPU 机器学习 pytorch 文章标签： keras CUDA_ERROR_OUT_OF_MEMOR Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31375855/article/details/82752629
版权
ubuntu 同时被 3 个专栏收录
20 篇文章 1 订阅
订阅专栏
机器学习
9 篇文章 0 订阅
订阅专栏
pytorch
4 篇文章 0 订阅
订阅专栏

使用GPU处理数据时显卡内存不够（Keras、tensorflow、pytorch等的Out of Memory报错）

在数据处理、机器学习时，如果数据量过大，或者Batch_size设置地太大，或者因为前一次使用GPU之后没有释放内存，导致GPU内存不足报错，keras报CUDA_ERROR_OUT_OF_MEMOR，pytorch报OOM错误等

  • 查看Ubuntu缓存（每一秒刷新）

    watch -n 1 free -m

  • 查看Ubuntu显存（每一秒刷新）

    watch -n 1 nvidia-smi

  • 关闭之前使用了GPU的终端等

  • 如果没有其它占用NVIDIA显卡内存的你之前运行的进程，那么就是数据太大，或者Batch_size太大，设置较小的Batch_size

Ricky_Yan
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TensorFlow、Keras、PyTorch和Apache MXNet的分布式培训框架
03-14
TensorFlow、Keras、PyTorch和Apache MXNet都支持分布式训练，以下是它们各自的分布式培训框架： 1. **TensorFlow**： - TensorFlow提供了多种分布式训练策略和工具，包括tf.distribute.Strategy、tf.distribute....
Ubuntu下查看cuda占用情况&清除gpu占用&跑深度学习报错RuntimeError: CUDA out of memory. Tried to allocate...解决办法
zeeq的博客
03-23 1万+
  在使用GPU跑深度学习的时候，报错RuntimeError: CUDA out of memory. Tried to allocate 26.00 MiB (GPU 0; 7.92 G......。意思就是GPU显存不够了。一般来说，解决方法有如下几个： 降低batch_size。比如原本设置的是64，那么现在可以改为32或者16甚至更小（我感觉我减少了batch_size之后还是没法跑，更好的解决方法是第二条）。 更根本的，查看一下GPU的使用情况，然后将占用较高却又没用的程序给关了。具体怎么查看
想用GPU跑yolo数据集，但是始终使用的是cpu，运行环境调整好了，还是有报错Memory Management and PYTORCH_CUDA_ALLOC_CONF
qq_26420885的博客
02-24 3627
使用GPU训练模型，遇到此问题一 Memory Management and PYTORCH_CUDA_ALLOC_CONF， 问题二[Errno 32] Broken pipe 问题三RuntimeError: indices should be either on cpu or on the same device as the indexed tensor (cpu)，这里都有体现，可以参考一下
mindspore【数据加载报错】windows本地正常，GPU服务器加载数据报错
weixin_45666880的博客
07-11 197
加载数据集代码如下，由于数据长度不一样设置多个batch_size时会报错，所以在getitem中一次返回多个batch【操作步骤&问题现象】1、本地mindspore1.5+windows+cpu运行正常2、服务器mindspore1.5+cuda10.1+gpu数据加载报错，每次运行中止的地方不相同，大约在执行30-40次__getitem()后终止，但均未执行到construct阶段【截图信息】解答： 可以先用上面的方法递归下数据集，看数据集迭代输出有没有问题。循环10个epoch，可以用如下方法
跑深度学习时tensorflow-gpu内存不够使用如何解决
qq_36109311的博客
11-21 5678
跑深度学习时tensorflow-gpu不够使用如何解决 今天跑一个深度学习代码时遇到一个问题： Hint: If you want to see a list of allocated tensors when OOM happen 百度了之后发现是gpu内存不够使用 两个解决方案 1.制定第二块GPU可用 import os os.environ["CUDA_VISIBLE_DEVICES"] = "2" 2.调整batch_size的大小 400张训练集，我的batch_size原本为8，跑50次出
CUDA out of memory解决办法
热门推荐
家鸽的代码屋
12-31 1万+
CUDA out of memory解决办法 当使用Pytorch GPU进行计算时经常遇到GPU存储空间过满，原因大致有两点： 1.Batch_size设置过大，超过显存空间 解决办法： 减小Batch_size 2.之前程序运行结束后未释放显存 解决办法： 按住键盘上的Win+R在弹出的框里输入cmd，进入控制台, 然后输入命令 nvidia-smi 查看GPU的使用情况，和占用GPU资源的程序，我们看到 PID 2492 运行着python占用很大空间 可以使用如下命令杀死进程 taskkill
Keras设定GPU使用内存大小方式(Tensorflow backend)
09-16
本文将详细介绍如何在Keras中配置TensorFlow后端来限制GPU使用的内存大小。 首先，我们需要导入必要的库，包括`os`，`tensorflow`以及Keras的`tensorflow_backend`模块： ```python import os import tensorflow ...
horovod：用于TensorFlow，Keras，PyTorch和Apache MXNet的分布式培训框架
02-03
它由Uber公司开发，最初是为了优化TensorFlow的并行训练而设计的，但后来逐渐扩展支持了Keras、PyTorch和Apache MXNet等其他主流深度学习框架。这个框架利用了Message Passing Interface (MPI) 的理念，使得多GPU或...
Apache Spark / Flink和Ray上的分布式Tensorflow，Keras和PyTorch-Python开发
05-25
Analytics Zoo提供了一个统一的数据分析和AI平台，可以无缝地使用一个统一的Data Analytics和AI平台，用于Apache Spark / Flink和Ray上的分布式TensorFlow，Keras和PyTorch。什么是Analytics Zoo？ Analytics Zoo...
pytorch2keras：PyTorch到Keras模型转换器
02-04
pytorch2keras PyTorch到Keras模型转换器。 安装 pip install pytorch2keras 重要的提醒 要正确使用转换器，请在~/.keras/keras.json进行更改： ... " backend " : " tensorflow " , " image_data_format " : " ...
batchsize和数据量设置比例_训练过程--Batchsize（先不整理了，总之一般情况下batchsize能设多大就设多大）...
weixin_39821718的博客
12-20 5416
训练过程--Batchsize(先不整理了，总之一般情况下batchsize能设多大就设多大)发布时间：2018-12-06 15:15,浏览次数：3888, 标签：Batchsize尽可能地设大batchsize "Large BatchLarge Batch在 keypoints上也是有用的，大概能提到0.4到0.3的点的AP。"在利用 ImageNet 训练 AlexNet 模型时，其中每 ...
cuda out of memory（pytorch）问题的解决
张壮壮的博客
03-03 1万+
最近在训练网络，发现无法使用GPU，一直报错cuda out of memory.查阅了网上很多方法，记录一下我的解决过程。 可能原因及解决方法 （一） 原因：大量其他进程占用了GPU 解决：kill占用GPU的进程，释放GPU 参考博文：链接 （二） 原因：batch_size过大 解决：将batch_size调小一点，再次测试看能否运行。 （三） 原因：不知道这个怎么描述，没有用到所有的GPU？ 解决：在代码中添加os.environ['CUDA_VISIBLE_DEVICES']="0, 1"，这个序
PaddleNLP 自然语言处理 知识图谱 uie-x-base,uie-m-large,uie-m-base模型使用时，报错Out of memory error on GPU 0 gpu内存不够
最新发布
muaamua的博客
11-09 2167
PaddleNLP安装。 自然语言处理和大语言模型，构建知识图谱，搭建智能问答系统，信息检索，知识抽取。 PaddleNLP报错：gpu内存不足：Please check whether there is any other process using GPU 0. 1.If yes, please stop them, or start PaddlePaddle on another GPU. 2. If no, please decrease the batch size of your model.
cpu部署chatglm 报错No compiled kernel found.
i++;
04-03 5661
（2）然后在原先模型加载后手动加载一下手动编译的kernel。还是会报编译错误，但是已经可以使用了。(1)手动编译，在模型path下。
THUDM/chatglm-6b-int4运行缺少gcc和openmp的问题
weixin_44906925的博客
04-05 2844
去掉勾选check for xxxxxxxxxxxxxxxxxxxxx server。在运行ChatGLM-6B的时候，本人是小白，遇到这几个问题，解决方法分享给大家。在这里下5.1.0-2老版本的，新版本没有。点gcc子项中的openmp。2. 缺少openmp的问题。install就完事了。1.缺少gcc的问题。
某块卡cuda out of memory,但是显存是空闲状态
so
10-18 1328
在不用reboot的情况下,直接使用sudo nvidia-smi -r -i出问题的gpu_id,重置即可, 考虑到在多卡环境下有的是用的nvlink作为桥接,这种情况需要对使用nvlink的卡进行同时重置,比如8卡:sudo nvidia-smi -r -i 0,1,2,3,4,5,6,7 ...
关于安装操作系统遇到can‘t load file ‘/boot/kernel/kernel‘ : input/outpup error的一种解决方法
qq_42754484的博客
06-23 1137
今天一个厂商部署应用，使用他们专用的ISO文件安装，在安装的过程中报一下错误。 使用网上搜索到的教程处理后，依然报错。 把虚拟机删除重建，扩容内存，问题依然没有解决。 后续请教同事，建议检查虚拟机硬件版本，发现使用的是ESXi 6.0 及更高版本 (虚拟机版本 11) 建议重建虚拟机后将虚拟机版本降低成**ESXi 5.5 及更高版本 (虚拟机版本 10)**问题解决。 后续询问厂家后发现，ISO生成的系统版本过低导致安装失败。 在安装OVF模板等专有镜像也可能出现类似问题，都可以采用这种方法解决。 .
明明有内存报错CUDA out of memory
qq_35037684的博客
12-07 1322
RuntimeError: CUDA out of memory. Tried to allocate 2.42 GiB (GPU 0; 24.00 GiB total capacity; 113.84 MiB already allocated; 21.85 GiB free; 134.00 MiB reserved in total by PyTorch) 百度，有人说是运行完python, 没有释放内存，运行nvidia-smi, 查看占用GPU的进程，命令 TASKKILL /PID 18620 -
【释放GPU内存】OutOfMemoryError: CUDA out of memory
weixin_43941438的博客
05-26 8748
使用torch.cuda.empty_cache()方法来释放PyTorch的缓存，以释放一部分被PyTorch占用的GPU内存。这种情况可能是之前的训练占用了显存，没被释放。命令，可以查看到CUDA已经被快被占满。
tensorflow和keras和pytorch
04-29
TensorFlow、Keras 和 PyTorch 都是深度学习框架。它们都提供了一些工具和接口，使得使用深度学习模型更加简单和高效。 TensorFlow 是由 Google 开发的深度学习框架，它支持多种编程语言，包括 Python、C++、Java ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值