使用GPU处理数据时显卡内存不够（Keras、tensorflow、pytorch等的Out of Memory报错）

最新推荐文章于 2023-11-09 01:08:23 发布
最新推荐文章于 2023-11-09 01:08:23 发布
阅读量3k 收藏 2
点赞数 1
分类专栏： ubuntu keras GPU 机器学习 pytorch 文章标签： keras CUDA_ERROR_OUT_OF_MEMOR Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31375855/article/details/82752629
版权
ubuntu 同时被 3 个专栏收录
20 篇文章 1 订阅
订阅专栏
机器学习
9 篇文章 0 订阅
订阅专栏
pytorch
4 篇文章 0 订阅
订阅专栏

使用GPU处理数据时显卡内存不够（Keras、tensorflow、pytorch等的Out of Memory报错）

在数据处理、机器学习时，如果数据量过大，或者Batch_size设置地太大，或者因为前一次使用GPU之后没有释放内存，导致GPU内存不足报错，keras报CUDA_ERROR_OUT_OF_MEMOR，pytorch报OOM错误等

  • 查看Ubuntu缓存（每一秒刷新）

    watch -n 1 free -m

  • 查看Ubuntu显存（每一秒刷新）

    watch -n 1 nvidia-smi

  • 关闭之前使用了GPU的终端等

  • 如果没有其它占用NVIDIA显卡内存的你之前运行的进程，那么就是数据太大，或者Batch_size太大，设置较小的Batch_size

Ricky_Yan
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Photoshop出现无法完成，因为内存不够（RAM），如何解决？
zyf134的博客
01-09 1万+
Photoshop出现无法完成，因为内存不够（RAM）时，你所需要如下步骤进行系统的适用： 1，在你点击【编辑】-【首选项】-【性能】系统提示中如果出现了：要求在96和8之间的整数，已插入最接近的数。这个就需要你在注册表中进行操作，操作如下： （1）window+R——运行界面-输入regedit.exe—点击确定-出现注册表 （2）在注册表中找到Photoshop的注册表，路径是HKEY_...
GDI+处理图像时出现内存不足的问题
weixin_30697239的博客
08-01 492
今天做图像的缩放功能，写好了类和相应的方法，开始测试。 先进行缩放处理，然后在再打上文字水印，保存，一切OK，高兴中。 突然想再加一个步骤试试，于是开始：缩放-打水印-再缩放，结果出现Error。 仔细一看“内存不足”。。。。。 不应该啊，用过的对象和引用的对象都已经及时释放了，怎么还会这样呢？ 开始进入调试状态查找问题。终于找到了原因所在，在从原图Clone到目标对象的时候，截取区域的...
Android ANR、内存泄漏、内存溢出、内存抖动
qq_32898021的博客
03-13 550
ANR ANR(Applicatino not responding)是指程序无响应，主要原因为： 1主线程被io操作阻塞（4.0后网络io不允许主线程中）。 2主线程做了耗时任务超过 5秒。 3Service做了耗时操作超过20秒，这是由于service默认执行在主线程，可以使用IntentService 。 4BroadcastReceiver的onReciver做了耗时操作超过10秒。 解决方式： 1开一个子线程，使用Handler来处理。 2使用AsyncTask来处理耗时任务。 内存溢出 内存溢出
tensorflow-gpu 和cpu使用训练ssd模型感想(显卡内存不足解决办法)
sunrise的博客
08-02 9976
   ssd 模型对于GPU ,CPU来说都适用，但是通过我的训练de'd得到的一下经验来说，GPU训练时基本不到1秒每步，而cpu在使用avx2的基础上，训练的每步需要将近1分钟，可想而知GPU训练是cpu训练的60倍左右，这将大大提高大家的训练速度。   而且，之前我yong用cpu版本训练时ssd model训练1000步需要花7-8个小时，现在用GPU只需要10分钟就足以，由此可见，对于...
PaddleNLP 自然语言处理 知识图谱 uie-x-base,uie-m-large,uie-m-base模型使用时，报错Out of memory error on GPU 0 gpu内存不够
muaamua的博客
11-09 2250
PaddleNLP安装。 自然语言处理和大语言模型，构建知识图谱，搭建智能问答系统，信息检索，知识抽取。 PaddleNLP报错：gpu内存不足：Please check whether there is any other process using GPU 0. 1.If yes, please stop them, or start PaddlePaddle on another GPU. 2. If no, please decrease the batch size of your model.
TensorFlow、Keras、PyTorch和Apache MXNet的分布式培训框架
最新发布
03-14
TensorFlow、Keras、PyTorch和Apache MXNet都支持分布式训练，以下是它们各自的分布式培训框架： 1. **TensorFlow**： - TensorFlow提供了多种分布式训练策略和工具，包括tf.distribute.Strategy、tf.distribute....
Keras设定GPU使用内存大小方式(Tensorflow backend)
09-16
本文将详细介绍如何在Keras中配置TensorFlow后端来限制GPU使用的内存大小。 首先，我们需要导入必要的库，包括`os`，`tensorflow`以及Keras的`tensorflow_backend`模块： ```python import os import tensorflow ...
horovod：用于TensorFlow，Keras，PyTorch和Apache MXNet的分布式培训框架
02-03
它由Uber公司开发，最初是为了优化TensorFlow的并行训练而设计的，但后来逐渐扩展支持了Keras、PyTorch和Apache MXNet等其他主流深度学习框架。这个框架利用了Message Passing Interface (MPI) 的理念，使得多GPU或...
Apache Spark / Flink和Ray上的分布式Tensorflow，Keras和PyTorch-Python开发
05-25
Analytics Zoo提供了一个统一的数据分析和AI平台，可以无缝地使用一个统一的Data Analytics和AI平台，用于Apache Spark / Flink和Ray上的分布式TensorFlow，Keras和PyTorch。什么是Analytics Zoo？ Analytics Zoo...
pytorch2keras：PyTorch到Keras模型转换器
02-04
pytorch2keras PyTorch到Keras模型转换器。 安装 pip install pytorch2keras 重要的提醒 要正确使用转换器，请在~/.keras/keras.json进行更改： ... " backend " : " tensorflow " , " image_data_format " : " ...
Keras GPU OOM内存不足
kallalaldjkf的博客
10-10 2963
https://blog.csdn.net/xiaosongshine/article/details/90286562
keras使用指定GPU训练模型和多GPU同时训练
岁月如歌
04-15 1万+
keras使用GPU训练： 1、简单方法：直接在运行前加　　 CUDA_VISIBLE_DEVICES=1 CUDA_VISIBLE_DEVICES=1 python train.py 2、指定一块或多块GPU import os os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"...
跑深度学习时tensorflow-gpu内存不够使用如何解决
qq_36109311的博客
11-21 5742
跑深度学习时tensorflow-gpu不够使用如何解决 今天跑一个深度学习代码时遇到一个问题： Hint: If you want to see a list of allocated tensors when OOM happen 百度了之后发现是gpu内存不够使用 两个解决方案 1.制定第二块GPU可用 import os os.environ["CUDA_VISIBLE_DEVICES"] = "2" 2.调整batch_size的大小 400张训练集，我的batch_size原本为8，跑50次出
mindspore【数据加载报错】windows本地正常，GPU服务器加载数据报错
weixin_45666880的博客
07-11 200
加载数据集代码如下，由于数据长度不一样设置多个batch_size时会报错，所以在getitem中一次返回多个batch【操作步骤&问题现象】1、本地mindspore1.5+windows+cpu运行正常2、服务器mindspore1.5+cuda10.1+gpu数据加载报错，每次运行中止的地方不相同，大约在执行30-40次__getitem()后终止，但均未执行到construct阶段【截图信息】解答： 可以先用上面的方法递归下数据集，看数据集迭代输出有没有问题。循环10个epoch，可以用如下方法
某块卡cuda out of memory,但是显存是空闲状态
so
10-18 1343
在不用reboot的情况下,直接使用sudo nvidia-smi -r -i出问题的gpu_id,重置即可, 考虑到在多卡环境下有的是用的nvlink作为桥接,这种情况需要对使用nvlink的卡进行同时重置,比如8卡:sudo nvidia-smi -r -i 0,1,2,3,4,5,6,7 ...
想用GPU跑yolo数据集，但是始终使用的是cpu，运行环境调整好了，还是有报错Memory Management and PYTORCH_CUDA_ALLOC_CONF
qq_26420885的博客
02-24 3696
使用GPU训练模型，遇到此问题一 Memory Management and PYTORCH_CUDA_ALLOC_CONF， 问题二[Errno 32] Broken pipe 问题三RuntimeError: indices should be either on cpu or on the same device as the indexed tensor (cpu)，这里都有体现，可以参考一下
GPU很空闲总是提示GPU out of memeory
热门推荐
zhuiyuanzhongjia的博客
06-30 2万+
nvidia-smi 和watch -n 1 nvidia-smi命令显示GPU占用为0,没有进程使用 GPU0上有11G空闲，但是训练模型时报错： 提示： CUDA out of memory. Tried to allocate 1.12 GiB (GPU 0; 11.17 GiB total capacity; 9.99 GiB already allocated; 877.75 MiB free; 1.25 MiB cached) 需要1.12G内存，但是不够。明明有11.17G啊！
cpu部署chatglm 报错No compiled kernel found.
i++;
04-03 5698
（2）然后在原先模型加载后手动加载一下手动编译的kernel。还是会报编译错误，但是已经可以使用了。(1)手动编译，在模型path下。
解决提示CUDA内存不够、GPU占内存不放的问题-python
枫的博客
04-24 1万+
解决提示CUDA内存不够、GPU占内存不放的问题 解决GPU运行代码时提示CUDA内存不够的问题 1.内容： 解决代码已经停止运行，GPU仍占着不放的问题。 如程序已经停止运行，在运行其他程序时提示：GPU：RuntimeError: CUDA out of memory. 2.实现步骤： 打开dos窗口（windows+R键） 输入nvidia-smi命令获取GPU信息 查看运行的processor 关掉正在运行的processor，taskkill -PID 进程号 -F。 例如：taskkill -
Linux与Windows深度学习环境搭建：Tensorflow, Keras, Pytorch+CUDA+CUDNN指南
"这篇文档是关于在Linux和Windows操作系统上搭建深度学习开发环境的详细教程，涵盖CUDA、CUDNN、Anaconda、PyCharm以及Tensorflow、Keras和Pytorch的安装步骤。" 在深度学习领域，拥有一个高效且稳定的开发环境至关...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值