RuntimeError:one of the variables needed for gradient computation has been modified by an inplace...

在进行网络训练的时候，显示loss.backward()处出现RuntimeError:one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [5, 16, 316, 316]], which is output 0 of LeakyReluBackward1, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True) 的错误。

在网上找了一圈，这类问题主要是梯度求导的问题，在计算梯度前此变量被修改。下面是我在网上找到的方法，及对我有用的方法，亲则有效！

方法一：

可以看下代码里有没有a += xxx这类的代码，把它改成：

a = a + xxx

或者a = a.clone() + xxx

方法二：

可以看看是不是网络共用某个参数。当两个地方共用了同一个参数，先进行求导的那个地方更新了这个参数导致后面共用这个参数的地方的梯度计算失败。其解决方法是在第二个网络计算梯度之前对这个参数进行detach()操作。

方法三：

将网络中ReLU相关的激活函数中的（inplace=True）改为False。

此方法亲测有效！