联邦学习(pytorch)的损失值为负值解决办法

在用pytorch运行联邦学习程序时,损失值出现负值,如下:

出现这种情况,我们可以用以下解决方法:

方法一:

在定义的模型里把 self.softmax = nn.Softmax(dim=1) 改成

self.softmax = nn.LogSoftmax(dim=1)

在代码里如下:

 修改后的执行结果如下:

方法二:

因为交叉熵有个负对数,所以当网络输出的概率是0-1时,损失值为正数。而当网络输出大于1的数,就有可能变成负数。因此需要添加一行

out1 = F.softmax(out1, dim=1)

原文链接:https://www.jb51.net/article/190282.htm

(但是我没实现过,因为我找不到地方添加)

方法三:

把输入数据进行归一化,归一化函数代码如下:

def data_in_one(inputdata):
 
    min = np.nanmin(inputdata)
 
    max = np.nanmax(inputdata)
 
    outputdata = (inputdata-min)/(max-min)
 
    return outputdata

原文链接:https://blog.csdn.net/weixin_36670529/article/details/115752369?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control

(但是这个方法我也没实现过,不知道怎么调用这个函数)

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值