PyTorch 反向传播报错：one of the variables needed for gradient computation has been modified by an inplace

PyTorch 反向传播报错：

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [12, 128, 64, 64]], which is output 0 of ReluBackward0, is at version 1; expected version 0 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

导致错误的原因：使用了 inplace operation

报错的意思是：梯度计算所需的一个变量已被就地操作（inplace operation）修改，导致无法计算梯度。

inplace operation 是指直接对tensor的内容进行修改，而没有使用复制的副本。利用inplace计算可以节省内存/显存，同时还可以省去反复申请和释放内存的时间，但是会对原变量覆盖。

在实现模型时，应该尽量避免 inplace operation，否则可能会导致无法计算梯度。

常见的 inplace operation

1、 x+=y，x*=y 是 inplace operation ，可以改为 x=x+y 和 x=x*y

2、nn.ReLU(inplace=True) 是 inplace operation，但 nn.ReLU 默认 inplace=False，所以使用 nn.ReLU() 即可。