RuntimeError：CuDNN error：CUDNN_STATUS_EXECUTION_FAILED

在使用backpack包尝试获取模型梯度的时候遇到的问题。
一开始看网上以为是cuda,pytorch和cudnn不匹配的问题，但检查安装的版本发现并没有问题。
后来使用

watch nvidia-smi

训练时观察发现显卡显存满了，检查了有没有没有释放的梯度节点，发现都释放过了，并且也加上了torch.cuda.empty_cache()。

故开始在代码内加入节点排查哪里内存泄露，方法就是不同代码块加上

print("1:{}".format(torch.cuda.memory_allocated(device)))

排查哪里的内存突然增加的很大。
后来发现
局部调用backpack的地方

with backpack(BatchGrad()):
	loss.backward(retain_graph=True,create_graph=True)

内存突然增加，故去这个包的问题下看果然有和内存泄漏的相关问题。
https://github.com/f-dangel/backpack/issues/258

原因是backpack，这里create_graph=True使用了pytorch的hook钩子部分，但是我的torch版本1.9.1这里有内存泄漏的bug。最后解决方法参考了这个修改了torch/utils/hooks.py文件
https://github.com/pytorch/pytorch/pull/82788