<input>:1: UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed.

在调试PyTorch模型时遇到UserWarning,提示访问了非叶张量的.grad属性。该警告意味着即使张量requires_grad()为True,但is_leaf为False时,不能直接获取其梯度。叶张量是由用户创建的原始变量,而非中间计算结果。区分叶张量和非叶张量的原因包括链式求导法则的实现、梯度目的以及资源管理。理解这一概念有助于正确进行反向传播和参数更新。
摘要由CSDN通过智能技术生成

前言:

在调试计算模型梯度的时候突然蹦出:<input>:1: UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed. Its .grad attribute won't be populated during autograd.backward(). If you indeed want the gradient for a non-leaf Tensor, use .retain_grad() on the non-leaf Tensor. If you access the non-leaf Tensor by mistake, make sure you access the leaf Tensor instead. See github.com/pytorch/pytorch/pull/30531 for more informations.

(持续更新,)

1更:2022.08.30

一、问题分析

博主想得到loss计算环节某个变量的梯度,经过检查发现该变量的requires_grad()为True,但是在输出他的梯度的时候却出现上面的警告。

这个报错的大致翻译如下:

<input>:1:UserWarning:正在访问非叶张量的张量的.grad属性。在autograd.backward()期间不会填充其.grad属性。如果确实需要非叶张量的梯度,请在非叶张量上使用.retain_grad()。如果您错误地访问了非叶张量,请确保您访问了叶张量。

一句话总结是:

并不是 requires_grad()为True就可以输出对应的梯度,还要看is_leaf属性&

  • 16
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

两只蜡笔的小新

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值