- 博客(3)
- 收藏
- 关注
原创 记录一下Seq2Seq模型中,反向传播Grad_value全都为None的排查过程
3,排查是否是device的问题,是否是模型和参数所在的设备不同,将device删除后仍然全部为None。1,首先明确requires_grad都是为True的,是否启动了反向传播。4,确认损失函数和优化器的配置正确。2,loss是正常计算的。
2023-08-30 10:39:27 199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
3,排查是否是device的问题,是否是模型和参数所在的设备不同,将device删除后仍然全部为None。1,首先明确requires_grad都是为True的,是否启动了反向传播。4,确认损失函数和优化器的配置正确。2,loss是正常计算的。
2023-08-30 10:39:27 199
TA创建的收藏夹 TA关注的收藏夹
TA关注的人