使用torch.nn.CrossEntropyLoss(),损失函数有变化,但是训练准确率和验证准确率一直没变化,到底要不要在模型中加入sigmoid函数

训练损失函数和验证损失函数都有一定程度的下降,但是,训练准确率和验证准确率一直不变

我觉得这种情况下,应该不是数据集的问题,需要看代码中计算正确标签和全部标签数量的语句,也就是以下两个语句:

total += target.size(0)  # 总的标签数量
correct += (outputs1 == target).sum().item()  #正确的标签数量

我的情况:将交叉熵损失函数: torch.nn.CrossEntropyLoss()

换成了二分类交叉熵损失函数:torch.nn.CrossEntropyLoss(),注意!此时,由于两个交叉熵损失函数所要求的张量维度不同,所以需要手动改变相关张量维度

官网上说torch.nn.CrossEntropyLoss()自带了sigmoid函数,所以我在模型中没有添加sigmoid层,但是在调试的时候发现模型的输出值很小,有些甚至有负值,但是,sigmoid函数的值在0~1之间。

原因:先进入模型,得到模型的预测值后,再将模型的预测值与真实值输入到损失函数中,在这个过程中,模型本身是没有sigmoid函数的,得到的预测值也是没有经过sigmoid函数调整的值,所以会有负值出现

outputs = model(inputs)

loss = criterion(outputs, target)

于是,在全连接层后面添加sigmoid函数,这样,模型的输出就是一个0~1之间的数,然后对输出值进行判断,小于0.5判为0,否则为1

outputs1 = torch.tensor([[1] if num[0] >= 0.5 else [0] for num in outputs]).to(device)

total += target.size(0) # batch_size

correct += (outputs1 == target).sum().item()

这样,就可以得到正确的准确率了

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值