问题:在模型训练的过程中,自己手动加入了每隔2000轮测试一下模型在测试集上的效果,结果24G的显存每次到4000轮也就是测试两次就爆掉显存了,后来通过验证找到了问题,并且在测试代码段最后加入torch.cuda.empty_cache() 便解决问题。
解决模型训练过程中显存不释放,不断累加导致爆显存
最新推荐文章于 2024-03-23 15:30:42 发布
问题:在模型训练的过程中,自己手动加入了每隔2000轮测试一下模型在测试集上的效果,结果24G的显存每次到4000轮也就是测试两次就爆掉显存了,后来通过验证找到了问题,并且在测试代码段最后加入torch.cuda.empty_cache() 便解决问题。