nn.CrossEntropyLoss()是PyTorch用于多分类问题的损失函数，结合了LogSoftmax和NLLLoss。它接受输入张量(input)和目标张量(target)，其中input是未经softmax的原始输出，target是样本的真实标签。可选参数包括weight指定类别权重，ignore_index忽略特定类别，reduction控制损失计算方式，默认为'sum'。另外，label_smoothing可用于标签平滑，帮助模型泛化。
torch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,reduce=None,reduction='mean',label_smoothing=0.0)计算过程
nn.CrossEntropyLoss()=nn.LogSoftmax()+nn.NLLLoss()
import torch
import torch.nn as nn
loss_func = nn.CrossEntropyLoss()
pre = torch.tensor([0.8, 0.5, 0.2, 0.5], dtype=torch.float)
tgt = torch.tensor([1, 0, 0, 0], dtype=torch.float)
print("手动计算:")
print("1.softmax")
print(torch.softmax(pre, dim=-1))
print("2.取对数")
print(torch.log(torch.softmax(pre, dim=-1)))
print("3.与真实值相乘")
print(-torch.sum(torch.mul(torch.log(torch.softmax(pre, dim=-1)), tgt), dim=-1))
pri
订阅专栏 解锁全文
扫一扫
3814
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
