问题描述
Traceback (most recent call last):
File "/home/sysu/qfy/project/GCL/GCL/Main.py", line 281, in <module>
main(args)
File "/home/sysu/qfy/project/GCL/GCL/Main.py", line 200, in main
loss, Matrix = train(encoder_model, args, data, optimizer, epoch)
File "/home/sysu/qfy/project/GCL/GCL/Main.py", line 153, in train
loss.backward()
File "/home/sysu/qfy/anaconda3/envs/gclv1/lib/python3.8/site-packages/torch/_tensor.py", line 487, in backward
torch.autograd.backward(
File "/home/sysu/qfy/anaconda3/envs/gclv1/lib/python3.8/site-packages/torch/autograd/__init__.py", line 200, in backward
Variable._execution_engine.run_backward( # Calls into the C++ engine to run the backward pass
RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.
解决办法
这个原因很简单,就是在进行训练的时候,由于是在下一次循环的时候前一次的计算图已经被释放了,所以下次计算就会出现问题,那怎么办呢?就把计算图保留下来就可以了
.backward()
改为
.backward(retain_graph=True)
这个时候就不会再出错了
闲话
这个错误表明在你的代码中尝试对计算图进行第二次反向传播,或者在计算图中的某些保存的中间值已经被释放后,再次尝试访问它们。这通常是由于没有正确处理计算图的释放或者多次反向传播导致的。
以下是一些建议来解决这个问题:
确保只调用一次
backward
: 在你的代码中,确保只调用了一次loss.backward()
。如果你在训练循环中多次调用了backward
,这可能导致问题。检查是否需要
retain_graph
: 如果你在训练循环中有多个优化步骤,确保你在每个步骤中都使用了新的输入,或者使用了retain_graph=True
参数来保留计算图,以便多次反向传播。
loss.backward(retain_graph=True)
请注意,使用
retain_graph=True
可能会导致 GPU 内存占用增加,因此要小心使用。释放不再需要的变量: 在训练循环结束时,确保释放不再需要的中间变量,可以使用
del
关键字或者将其设置为None
。
# 释放不再需要的变量 intermediate_result = None
检查模型和优化器的状态: 在训练循环结束时,确保你的模型和优化器都处于正确的状态。你可能需要在每个训练步骤之前调用
optimizer.zero_grad()
来清除梯度。
optimizer.zero_grad()
使用 PyTorch 内置调试工具: 使用
torch.autograd.detect_anomaly()
来捕捉异常的计算图操作。这有助于定位导致问题的操作。如果以上方法都没有解决问题,你可能需要检查你的训练循环和模型定义的详细情况,以确定在哪里出现了多次反向传播的问题。
扩展阅读
首先要知道,为什么会报这个错,这个错翻译成白话文就是说:当我们第二次backward的时候,计算图的结构已经被破坏了(buffer的梯度被释放了),这也是pytorch动态图的机制,可以节省内存。
这里不仔细讲解backward是怎么工作的了,一般我们在训练的时候常用的就是loss.backward()这种写法,loss一般是一个标量
在pytorch的计算图中,其实只有两种元素:tensor和function,function就是加减乘除、开方、幂指对、三角函数等可求导运算,而tensor可细分为两类:叶子节点(leaf node)和非叶子节点。使用backward()函数反向传播计算tensor的梯度时,并不计算所有tensor的梯度,而是只计算满足这几个条件的tensor的梯度:1.类型为叶子节点、2.requires_grad=True、3.依赖该tensor的所有tensor的requires_grad=True。
具体参照这个博客