报错:RuntimeError: Expected nested_tensorlist[0].size() > 0 to be true, but got false. 已解决

在训练深度学习模型时,遇到报错,RuntimeError: Expected nested_tensorlist[0].size() > 0 to be true, but got false. 谷歌搜索信息很少,有一条是说loss没有添加..backward()进行反向传播导致的,可见:
Expected nested_tensorlist[0].size() > 0 to be true, but got false - PyTorch Forums

但是我代码中有添加,询问gpt得到如下回答:

这个错误信息提示的问题是在尝试进行梯度裁剪时,遇到了一个或多个模型参数的梯度尺寸为零(即没有梯度)。这通常发生在以下几种情况:

  1. 未使用的参数:模型中可能存在一些未参与前向或反向传播的参数。例如,某些层可能因为模型的某种条件分支而没有被执行。

  2. 零梯度:某些参数在反向传播过程中可能得到了零梯度。这可能是因为模型的某部分没有得到有效的梯度更新。

解决这个问题的一种方法是在调用梯度裁剪之前,检查参数的梯度是否存在和有效。可以通过遍历模型参数并检查它们的 .grad 属性来实现。如果 .gradNone 或者梯度的尺寸为零,可以选择跳过这些参数的梯度裁剪。

修改代码如下,解决

loss.backward()
# nn.utils.clip_grad_value_(self.model.parameters(), clip_value=1.0)
for param in self.model.parameters():
    if param.grad is not None and param.grad.nelement() > 0:
        nn.utils.clip_grad_value_([param], clip_value=1.0)

  • 11
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值