加载torch模型,测试数据
导致内存溢出,
RuntimeError: CUDA out of memory. # 内存溢出
运行一段时间,程序再崩:
那估计就是代码中有加载到内存中的东西没有释放。
如 运行plt模块会造成内存溢出,估计是plt模块未释放:
plt.close("all")
如果是TensorFlow的框架问题:
设定一下TensorFlow框架的消耗显存
# 使用GPU30% 的显存
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
# 根据使用需求增长分配显存
config = tf.ConfigProto()
config.gpu_options.allow_growth=True
sess = tf.Session(config=config)
显卡问题的解决方案:
# 禁用cudnn
torch.backends.cudnn.benchmark = Flase
可以使程序正常运行,但是降低运行速度,并且全局禁用cudnn。
建议:
当你跑完这个训练项目的时候,新建一个test.py,插入一下代码,运行一遍。
import torch
# 开启cudnn
torch.backends.cudnn.benchmark = True
如下,该错误基本是由于Torch版本和CUDA版本不匹配的原因,对你Torch版本进行修改。
RuntimeError: CUDNN_STATUS_MAPPING_ERROR