利用GPU训练模型（tensorflow、keras） 训练模型提示“CUDA_ERROR_OUT_OF_MEMORY”

最新推荐文章于 2022-10-27 14:24:47 发布
最新推荐文章于 2022-10-27 14:24:47 发布
阅读量969 收藏 1
点赞数
分类专栏： 问题处理 linux 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Brianone/article/details/90113301
版权
深度学习 同时被 3 个专栏收录
18 篇文章 2 订阅
订阅专栏
问题处理
12 篇文章 0 订阅
订阅专栏
linux
9 篇文章 0 订阅
订阅专栏

问题来源

用GPU训练模型，由于操作习惯问题。终直接在终端用ctrl+z终止训练，此时GPU资源可能未立即释放，
下次继续使用时有可能会报例如CUDA_ERROR_OUT_OF_MEMORY这种错误，就是提示显存不够。这时候需要人工来杀死占用GPU显存的进程。

解放方法

1 查看GPU进程及PID

fuser -v /dev/nvidia*

2 找到仍然在占用GPU的进程PID

kill -9 pid  # 表示强迫进程立即停止
kill pid # 也可以终止进程

 

BrianOne
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tensorflow 2.x(keras)源码详解之第十六章：分布式部署（如何使用GPU）
weixin_43178406的博客
07-07 1万+
本文主要介绍了Tensorflow 2.x(keras)源码详解之第十六章：分布式部署（如何使用GPU），希望能对学习TensorFlow 2的同学有所帮助。 文章目录 1. 分布式训练前言 2. 指定使用cpu 3. 使用多块GPU 4. 限制GPU内存 5. 单块GPU模拟多GPU并行
tensorflow-gpu报错：tensorflow.python.framework.errors_impl.UnknownError: 2 root error(s) found
最新发布
laxyer的博客
03-27 1533
tensorflow.python.framework.errors_impl.UnknownError: 2 root error(s) found. (0) Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above. [[{{no
TensorFlow: CUDA_ERROR_OUT_OF_MEMORY
小天花藏
12-19 440
在运行别人已经训练好的模型时报了这个错 TensorFlow: CUDA_ERROR_OUT_OF_MEMORY 通过字面意思也知道是内存不够了，而CUDA指的是GPU。而我使用别人的模型，并不希望使用到GPU。为解决这个问题需要进行如下设置： import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VI...
Tensorflow: CUDA_ERROR_OUT_OF_MEMORY
Felaim的博客
11-08 7607
最近LZ一直在使用tensorflow,遇到有些小问题,就遇到一个,解决一个,有些一直重复出现,或者是做个笔记,加快小伙伴的使用. 在写测试程序代码的时候出现如下报错,源代码就不贴出来了… 2018-11-07 17:10:30.875135: E tensorflow/stream_executor/cuda/cuda_driver.cc:924] failed to allocate 62.2...
TensorFlow中出现 CUDA_ERROR_OUT_OF_MEMORY
weixin_42608406的博客
03-22 208
参考 https://blog.csdn.net/qq_34914551/article/details/86604988 我设置后还是没有解决问题，又把batch_size改小了点才解决
Python tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY
qq_34851605的博客
11-20 3023
tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY 这几天在做卷积神经网络的一个项目，遇到了一个问题CUDA_ERROR_OUT_OF_MEMORY。运行代码时前三四百次都运行正常，之后就一直报这个错误（而且第二次、第三次重新运行程序时，报错会提前），但是程序不停止。今天空闲下来，就看一看 这个问题。 详细信息（因为我的报错解决了，所以从网上找了一个相同的报错信息）： 2017-03-28 23:38:19.485396: E tensorflow/stream_executor/
Tensorflow 错误001：CUDA_ERROR_OUT_OF_MEMORY
大可的杨先森的博客
11-14 1294
代码出现tensorflow.python.framework.errors_impl.InternalError，from device: CUDA_ERROR_OUT_OF_MEMORY 此文为解决机器学习中使用tensorflow，在运行代码出现上述报错情况 1.先运行nvidia-smi 检查GPU运行情况，若内存够用进入2 2.代码应作已下修改 import tensorflo...
Keras/TensorFlow报错CUDA_ERROR_OUT_OF_MEMORY:
Kyrielong的博客
03-07 6200
用keras的model.predict时报错如下： failed to allocate 4.00G (4294967296 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY: out of memory 2019-03-07 10:24:00.610883: E tensorflow/stream_executor/cuda/cuda_driver.c...
cuda out of memory gpu还有空间_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...
weixin_39896256的博客
11-21 845
关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...
解决Tensorflow error(CUBLAS_STATUS_EXECUTION_FAILED)报错问题
SpadgerZ的博客
10-27 2524
显卡CUDA tensorflow-gpu
求助！Tensorflow2.3 GPU报错InternalError: CUDA runtime implicit initialization on GPU:0 failed.
qq_39254473的博客
08-19 9281
Tensorflow2.3 GPUTensorflowGPU新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 TensorflowGPU https://tensorflow.google.cn/install/gpu 新的
Keras/TensorFlow 报错：CUDA_ERROR_OUT_OF_MEMORY 解决办法
buziran的专栏
05-22 1217
Keras/TensorFlow 报错如下： failed to alloc 2097152 bytes on host: CUDA_ERROR_OUT_OF_MEMORY could not allocate pinned host memory of size:xxxxx 解决办法： TensorFlow 默认贪婪的占用全部显存，所以有时候显存不够用，添加如下代码，让显存按需分配 ...
TensorFlow2.0 CUDA_ERROR_OUT_OF_MEMORY out of memory 解决办法
胭脂草的ABC博客
08-10 2891
今天头一次使用TensorFlow2.0的GPU版本进行训练，训练中遇到【CUDA_ERROR_OUT_OF_MEMORY out of memory】，于是百度各种解决办法，基本能查到的都是TensorFlow1.0的用法，但此方法在TensorFlow2.0中不适用。于是经过多方查找，终于找到设置方法，在此进行记录，一是方便日后回看，二是弥补百度中各种查不到。 TensorFlow1.0用法 from keras import backend as K config = t...
Tensorflow: CUDA_ERROR_OUT_OF_MEMORY 亲测有效
种花家的奋斗兔的博客
11-02 1795
import os os.environ["CUDA_VISIBLE_DEVICES"] = '0' #use GPU with ID=0 config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.5 # maximun alloc gpu50% of MEM config.gpu_optio...
TensorFlow中出现 CUDA_ERROR_OUT_OF_MEMORY 的错误解决方案
我的博客有点东西
01-23 5037
我是在用谷歌开源的facenet工程，使用自带的MTCNN用来align人脸数据集时遇到这个问题的。 这个问题出现的原因在于TF想获得全部的GPU资源，设总资源为M，现在只能为TF分配N，N<M，然后TF就不干了。 对于facenet这个工程来说，只需把arg中的可选参数 gpu-memory-fraction 设为0.7，反正必须小于1，是能N/M的百分比。   也可以这么做 ...
tensorflow 运行效率 GPU memory leak 问题解决
12-15 352
问题描述： 　　Tensorflow 训练时运行越来越慢，重启后又变好。 　　用的是Tensorflow-GPU 1.2版本，在GPU上跑，大概就是才开始训练的时候每个batch的时间很低，然后随着训练的推进，每个batch的耗时越来越长，但是当我重启后，又一切正常了？ 问题查找： 　　一开始查到的原因是batch_size 和 batch_num的问题，通过python yie...
tensorflow 多GPU训练时， Memory-Usage占满而GPU-Util为0%的问题
cx415462822的专栏
12-16 4729
由于刚开始接触多gup训练，按照网上的帖子改写代码后，发现训练程序依旧很慢（用的是4gpu），用nvidia-smi检查GPU运行情况，发现Memory-Usage占满而GPU-Util为0%。 上网一搜还真有不少人遇到同样的问题，还以为是自己哪里没设置好。画了一天左右时间在网上找解决方法，网上的方法都没用。 后来用watch nvidia-smi命令，实时...
【Tensorflow-Error】CUDA_ERROR_OUT_OF_MEMORY: out of memory
热门推荐
luckynote
03-20 1万+
在Tensorflow 训练模型时报错提示： failed to allocate 3.77G (4046333952 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY: out of memory 虽然会报出显存溢出问题，但不影响正常训练，不过笔者还是想知道这个问题是怎么来的。 废话不多说，先上session初始化的代码 gpu_optio...
Keras使用GPU训练
qq_41982466的博客
06-22 9665
TensorFlow、Keras与GPU之间的版本对应 版本问题—keras和tensorflow的版本对应关系 tensorflow各个版本与cuda版本的对应关系~最新 环境部署中cuda对应的tensorflow-gpu、keras版本、pytorch的对应版本 使用GPU训练Keras模型 Keras——检查GPU是否可用 如何使用GPU训练keras模型 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值