loss grad_fn、grad=None

最新推荐文章于 2023-08-02 18:32:49 发布

一条咸鱼在网游

最新推荐文章于 2023-08-02 18:32:49 发布

阅读量910

点赞数

文章标签： python 人工智能机器学习

本文链接：https://blog.csdn.net/weixin_63016274/article/details/130759532

版权

前提：

运行训练代码的时候，出现多个model，多个model在测试集上的结果均一致：

通过model.load_state(）发现参数、权重值等均一致！【问题所在】

查找错误：

（1）模型储存方式

（2）数据集数量或者传入数据集的不同性检查

（3）检查梯度

for name, param in model.named_parameters():
    if param.requires_grad:
        if param.grad is not None:
            print("{}, gradient: {}".format(name, param.grad.mean()))
        else:
            print("{} has not gradient".format(name))

for name, param in model.named_parameters():
    print("name:",name,"grad_requires:",param.requires_grad,"weight:",param.data,"grad_value："，param.grad）

如果 grad_value=none：

1、检查loss的属性：grad_fn、grad 如果均为none ：可能是loss脱离了模型的训练中，和模型训练没有连接起来

【解决】