one of the variables needed for gradient computation has been modified by an inplace operation

bug提示：
one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [256, 1]], which is output 0 of TBackward, is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True)

在复现SAC时遇到的

主要原因：在计算PolicyNet梯度之前，有些变量进行了更新，导致梯度计算失败。

解决方法：主要有两种，第一种是先进行PolicyNet的梯度计算和网络参数更新，然后再计算ValueNet和QNet；第二种是先完成PolicyNet、ValueNet、QNet的梯度计算，然后再一起更新。

该bug在高版本（1.4.0）中会出现，而低版本不会，很多博客中给出的原因是tensor和variable的合并，具体原因还未知，后续对pytorch进行深入了解之后再补充。

参考：
https://www.cnblogs.com/js2hou/p/13923089.html