原因：代码中需要多次用到一个高维tensor变量，每一个batch都要更新一次它的值，这个值的获得需要数据集过一次网络
心路历程：刚开始以为是传参或者内存释放的问题，去深入研究了python高级用法，用了很多del、gc.collect()语句，发现内存释放不掉，还是随着训练过程逐渐增长
最终解决：因为是把两个代码的方法往一个整合，又仔细看了源码，发现源代码过网络的时候用了with torch.no_grad()这个语句，就试了一下，没想到就是这个问题，困了我两三天啊啊啊
分析：如果没有这个语句的话，因为要反向求导，pytorch就会创建变量保存梯度，跟这个高维tensor“体量”差不多的东西，如果每过一次网络保存一次梯度，这个内存消耗就非常大了，最终cuda memory out
博客讲述了在PyTorch中进行深度学习训练时遇到的内存问题。作者最初认为是参数传递或内存释放不当导致内存持续增长，尝试了Python的内存管理技巧但未解决问题。最终发现是由于缺少`torch.no_grad()`上下文管理器，导致每次网络前向传播时保存了梯度，从而大幅消耗内存。解决方案是使用`torch.no_grad()`防止反向传播时保存梯度，有效解决了内存溢出问题。
2878
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
