PyTorch中“CUDA out of memory”的调试笔记

1 问题描述

“RuntimeError: CUDA out of memory.”是PyTorch写作中常见的一种运行错误，这里我们将记录一下调试过程中发现的一些解决方案；

2 解决方案

2.1 模型较大——可以降低batch_size

一种常见的原因就是模型的参数量较多，此时降低batch_size是一种可行的方法

2.2 读取loss值时没有使用item()函数

这是我之前在写作中出现的一个错误，我需要使用loss值作为训练过程时的输出，不过在取的张量的值之后，没有只用item()函数，而是直接用int-tensor参与后面的运算，导致显存泄露；