Pytorch在使用过程中GPU显存出现out of memory 错误

转自链接：https://wisdomai.xyz/tool/pytorch/archives/2301

问题

在测试阶段出现GPU显存暴涨，导致出现out of memory错误。

总结

在pytorch训练阶段，对图节点继续复制，复制后图节点所占内存也可能会被回收，并不一定会出现内存泄漏。
在pytorch测试阶段，不要对图节点进行直接复制，因为复制的图节点所占内存不再会被自动回收，可能会出现内存泄漏问题，导致out_of_memory错误。

取torch变量标量值时一定要使用item()属性。