RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors a

问题描述:

pytorch 更新网络参数报错:
报错行:

loss1.backward(retain_graph=True)

错误信息:

RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.


解决方案:

第一步:

出错处:

 x_t=data[0][1]
 x_s = model_s1(data[1][0])  //model_s1为net
 mask=fd(x_t.clone(), x_s.data) //fd为net

改为:

 x_t=data[0][1].data
 x_s = model_s1(data[1][0].data)  //model_s1为net
 mask=fd(x_t.clone(), x_s.data) //fd为net

即为训练输入的初始数据加上.data ,将data[0][1]改为data[0][1].data
参考:https://blog.csdn.net/SY_qqq/article/details/107384161

第二步:

出错处:

loss1.backward(retain_graph=True)  

改为:

loss1.requires_grad_(True)  # 加入此句就行了
loss1.backward(retain_graph=True)  

参考:https://blog.csdn.net/wyf2017/article/details/123156380

问题解决。


这报错我真是搜了两天也没解决,网上大多都说将loss1.backward() 改为loss1.backward(retain_graph=True) ,但并没有解决我的问题,终于解决了觉得太有必要记录一下,救大命。
已经试过了,以上两步,缺一个都会报错,如果只有第一步没有第二步,报错为:

错误行: loss1.backward(retain_graph=True)
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

大概是输入数据没法计算梯度?第一步在输入数据加.data,感觉是保护源数据不被改变?
以及学到了更新梯度只会更新叶子节点变量,参考第一篇链接。

参考其他解决方案说要在训练过程的临时中间变量加上.data,试了都没用。后来发现给初始输入数据没加,加上后报错终于变了,真没想到问题在这。

以上,神经网络好难555 写代码好难

  • 22
    点赞
  • 41
    收藏
    觉得还不错? 一键收藏
  • 7
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值