volietevergad的博客

原创 评价指标计算时未关梯度导致显存异常占用

原本我还疑惑我明明写了optimizer.zero_grad()，但为什么还会异常占用显存，debug以后可以发现计算评价指标后也有额外的梯度（SqueezeBackward0），并且会每个epoch后累加，训练模型时显存开始占用一半，然后突然发现占满了并且训练速度直接下降一半。第一次遇到这种情况开始着手排查，以下是显存异常训练时代码。训练的完整代码如下，自己做实验整的懒得加注释了=.=之后的训练里显存占用也没有随着epoch增加了。