分类损失函数
二分类
- sifmoid 计算对数似然损失
多分类
- softmax 计算
- softmax 只需要计算一次
- sigmoid 需要计算样本属于每个类别的概率,需要计算多次
- ( z ) j = e z j ∑ e z i (z)_j=\frac{e^{z_j}}{\sum e^{z_i}} (z)j=∑eziezj
- 在对结果进行对数似然 J = − ∑ Y l o g ( P ) J=-\sum Y log(P) J=−∑Ylog(P)
- 把softmmax 概率传入对数似然损函数成为交叉熵损失
- criterion = nn.CrossEntropyLoss()
- output = F.log_softmax(x,dim=-1)
- loss=F.nll_loss(output,target)
- 带权损失 l n = − ∑ w i x i l_n=- \sum w_ix_i ln=−∑wixi