torch.autograd.detect_anomaly() 工具的使用（记录）

先放上使用方法：

import torch

# 正向传播时：开启自动求导的异常侦测
torch.autograd.set_detect_anomaly(True)

# 反向传播时：在求导时开启侦测
with torch.autograd.detect_anomaly():
    loss.backward()

是在这里找到的方法

主要在此记录一下我的找bug过程

跑新加的模块代码的时候，pytorch报以下错误

RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.

他说我进行了两次梯度回传，或者是在backward的时候，有中间变量已经被释放了。

因为是加了新模块才导致出现的问题，而且新模块中并没有backward，所以排除是两次backward的问题。

然后我就一顿好找啊。。改改这行代码，换换那行代码，看看到底是哪里出现了问题，愣是没找到。

然后使用了 detect_anomaly() 来检测。

由于我的基模型使用了pytorch lighting，所以我就在trainer.fit(model, data)前加了正向传播的异常检测； 以及在training_step中添加了反向传播的侦测，而且这里loss.backward()是需要改成loss.backward(retain_graph=True)，是因为pytorch lighting本身会backward一次，你再加一次就需要保持计算图的存在。

然后它就在前向过程中检测到一个变量计算有问题。我一开始还不信，说怎么会这里出问题。然后我输出了其中一个变量shape发现，它在上一个step中计算完之后放在一个列表里没有被清除，导致后续计算又拿这个值去计算了loss。这样就导致这个值对应的计算图已经不在了，但还是拿了这个值计算了loss，就报以上的错误了。

简单总结一下，使用这个detect_anomaly()，虽然不能十分明显的告诉你哪里出了问题，但也帮你减少了范围，提高了找代码效率。