报错解决：one of the variables needed for gradient computation has been modified by an inplace operation

写完了训练的代码，运行了以后发现了这么一个错：

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [544, 768]], which is output 0 of ViewBackward, is at version 1; expected version 0 instead. 

Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

大概意思就是说在计算梯度的时候检查出某个Variable有被一个 inplace operation 修改。

可能导致错误的原因

1、在pytorch中， inplace operation 可以是一些 .add_() 或 .scatter_() 导致的。对于.add_()方法，是直接在tensor上进行修改的，可以把x.add_(y)改成x = x + y。

2、在在pytorch中， inplace operation 可以是两个激活函数串联在一起导致的，将两个串联的激活函数删去一个。

3、在python中， inplace operation 可以是一些 += 或 *= 导致的。比如 x += y，需要改成 x = x +y。