使用MindSpore自定义loss函数并返回多个值

如果训练的网络需要自定义loss function, 正常情况下得到的loss是三个loss的权重加和。采用的策略就是自定义了loss function + train wrapper,使用了LossMonitor来查看总的loss。假设现在想在训练过程中自定义callback函数把总的loss+三个子的loss都打印出来。那么就需要把loss function的返回值改成3个 。

  1. 不仅需要先自定义loss function ,还需自定义 TrainOneStepCell ,实现梯度计算时sens的个数和network的输出个数相同。

    使用MindSpore自定义loss函数并返回多个值

  2. 这里的三个输出和一个输出的区别在于:计算梯度是传给grad的数量。

  3. 想要边训练边验证的话,简便的方法是使用callback函数,具体可参考[evalcallback](https://www.mindspore.cn/tutorial/training/zh-CN/master/advanced_use/evaluate_the_model_during_training.html#evalcallback)。但是需要使用Model中的train方法才可以,可以用model封装自定义loss和TrainOneStepCell。

  4. 具体脚本信息可参考如下示例:

    net = Net()

    loss_fn = MyLoss()

    loss_with_net = MyWithLossCell(net, loss_fn)

    train_net = MyTrainOneStepCell(loss_with_net, optim)

    model = Model(net=train_net, loss_fn=None, optimizer=None)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值