RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).
本文章仅记录博主修改一次错误的不断尝试,参考的意义不是很大。
尝试一
一个知乎的博主
链接: link
找到nn.parallel,broadcast_buffers=True导致参数被覆盖修改导致报错。
做出以下修改:
model = nn.parallel.DistributedDataParallel(model,
device_ids=[args.local_rank],
broadcast_buffers=False,
find_unused_parameters=True)
运行了还是有错误。
尝试二
csdn的一篇帖子的办法二
链接: link
x += res是inplace操作,x = x + res不是
做出如下修改:
将所有代码中的“a += b ”修改为"a=a+b"。
运行了还是有错误。
链接: link
同样也讲了inplace的问题
尝试三
链接: link
找到网络模型中的 inplace 操作,将inplace=True改成 inplace=False,例如torch.nn.ReLU(inplace=False)
运行了还是有错误。
尝试四
csdn帖子方法三
链接: link
将loss.backward()函数内的参数retain_graph值设置为True, loss.backward(retain_graph=True),如果retain_graph设置为False,计算过程中的中间变量使用完即被释放掉。
做出如下修改:
loss.backward(retain_graph=True)。
运行了还是有错误。
尝试五
链接: link
原因:pytorch版本到达1.5以后的autograd变了。
修改方法:把pytorch恢复到1.4之前的环境
步骤一:
将已有torch环境进行复制
conda create -n new_env --clone old_env #new_env表示新的虚拟环境的名字,old_env表示老虚拟环境的名字。
步骤二:pytotch降低版本(需不需要兼顾cuda的版本呢?
问题没搞明白,没有继续尝试
尝试六
错误说是梯度没有去掉
loss.backward()
但是组成loss的梯度不需要反向传播,因此用Variable去掉这些变量的梯度,只讲loss的梯度反向传播
//原来的代码
loss = loss + (torch.sum(loss_o * lossmask / num))
//修改之后的代码
loss = loss + (torch.sum(Variable(loss_o) * Variable(lossmask) / Variable(num)))
修改成功,程序可以跑通了。
总结而言:
基础知识不扎实,搜索了一些错误但是不明白原理。因此大多数修改只是照猫画虎。
本文章中还有一些搜索到的内容可继续深入理解。