在使用PyTorch进行深度学习训练时遇到loss变为nan的问题，通常由学习率过大、数据异常或除以零等引起。尝试调整学习率、检查输入数据及避免除以零无效后，可考虑手动处理梯度爆炸或修改target计算公式以避免inf。通过观察和调试，发现在模型的某个部分导致问题，修正相关计算以确保数值稳定性。
loss_func = nn.MSELoss()
loss = loss_func(val, target)
最近在跑一个项目，计算loss时用了很普通的MSE，在训练了10到300个batch时，会出现loss tensor([[nan nan nan nan]]类似的情况。对这个异常的loss进行梯度下降，会导致net的输出变为nan。在网上查了解决方案，都不好用：
- 学习率过大；
loss过小（或者说除以了0 / 计算了log(0)）；- 存在脏数据输入
NaN。
试过上述方法，却同样无效的小伙伴可以考虑：
- 自己手写
loss function，在临界值处改为线性函数，知乎链接：
最低0.47元/天 解锁文章
扫一扫
960
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
