二阶导数 java,Pytorch二阶导数卡在两个错误之间:缓冲区已被释放,变量是易失性的...

我有一个损失函数和一个权重矩阵列表,我正在尝试计算二阶导数 . 这是一段代码:

loss.backward(retain_graph=True)

grad_params_w=torch.autograd.grad(loss, weight_list,create_graph=True)

for i in range(layers[a]):

for j in range (layers[a+1]):

second_der=torch.autograd.grad(grad_params_w[a][i,j], my_weight_list[b], create_graph=True)

上面的代码是有效的(实际上二阶导数是在一个单独的函数中调用的,但我为了简洁起见直接使用它) . 但我完全混淆何时使用create和retain graph .

第一:如果我不做loss.backward(retain_graph)我得到错误A:

RuntimeError:变量元组的元素0是volatile

如果我使用它,但不在一阶导数上放置任何“图形”语句,我得到错误B:

RuntimeError:尝试第二次向后遍历图形,但缓冲区已被释放 . 第一次向后调用时指定retain_graph = True .

如果我指定retain_graph = True,无论是否在那里放置创建图形语句,我都会得到二阶导数的错误A(即在for循环中) .

因此,只有上面的代码段有效,但我需要loss.backward和所有创建图形语句感觉很奇怪 . 有人可以向我澄清一下吗?非常感谢提前!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值