Loss:BCEWithLogitsLoss

之前的:先对logit进行sigmoid,再使用pytorch的BCE。

修改:pytorch 和 tensorflow均有 内置的sigmoidBCE的函数。

torch.nn.BCEWithLogitsLoss

import torch
target = torch.ones([5, 4], dtype=torch.float32)  # 4 classes, batch size = 10
output = torch.full([5, 4], 1.5)  # A prediction (logit)
pos_weight = torch.ones([4])  # All weights are equal to 1
criterion = torch.nn.BCEWithLogitsLoss(pos_weight=pos_weight)
criterion(output, target)  # -log(sigmoid(1.5)) =tensor(0.2014)

此版本比使用普通 Sigmoid 后跟 BCELoss 在数值上更稳定,因为通过将操作组合到一个层中, 我们利用对数总和 exp 技巧来实现数值稳定性。

注:target和output都要是float型,在onehot后变成long型要转换。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值