常用的损失函数

常用的损失函数

L1范数损失

计算 output 和 target 之差的绝对值

torch.nn.L1Loss(reduction='mean'

mean 返回loss和的平均值

sum 返回loss和

均方误差损失 MSELoss(L2)

计算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')

mean 返回loss和的平均值

sum 返回loss的和

交叉熵损失 CrossEntropyLoss

常用的交叉熵，以二分类为例:

每个元素的范围为[0，1]，若不在该范围内，要对其进行sigmod处理
$$CE(p,y)=\{\begin{array}{l}-log(p)，y=1\\ -log(1-p)，otherwise\end{array}$$
$P_t$简化交叉熵loss:
$$P_t=\{\begin{array}{l}p,ify=1\\ 1-p,otherwise\end{array}$$
则
$$CE(p,y)=CE(p_t)=-log(p_t)$$
与Pt类似，当y=1的时候，αt=α；当y=otherwise的时候，αt=1 - α，a的范围也是0到1。此时我们便可以通过设置α实现控制正负样本对loss的贡献。
$$CE(p,y,a)=\{\begin{array}{l}-log(p)\ast aify=1\\ -log(1-p)\ast (1-a)ify=0\end{array}$$

torch.nn.CrossEntropyLoss(weight=None, ignore_index=-100, reduction='mean')

KL 散度损失 KLDivLoss

计算 input 和 target 之间的 KL 散度。KL 散度可用于衡量不同的连续分布之间的距离, 在连续的输出分布的空间上(离散采样)上进行直接回归时 很有效.
$$D_{KL}(A||B)=\sum _i{P}_A(x_i)log\left(\frac{P_A(x_i)}{P_B(x_i)}\right)$$
KL散度主要有两个性质：

（1）不对称性

它不具有对称性，即$D(A||B)\ne D(B||A)$$。

（2）非负性

相对熵的值是非负值，即$D(A||B)>0$。

torch.nn.KLDivLoss(reduction='mean')

二进制交叉熵损失 BCELoss

针对二分类任务。 注意目标 $t$ 的值的范围为0到1之间,$p$为output
$$BCE(p,t)=-w\ast (t\ast ln(p)+(1-t)\ast ln(1-p))$$
当然，还可以使用$w$来设置你的权重

torch.nn.BCELoss(weight=None, reduction='mean')

BCEWithLogitsLoss

BCEWithLogitsLoss损失函数把 Sigmoid 层集成到了 BCELoss 类中. 该版比用一个简单的 Sigmoid 层和 BCELoss 在数值上更稳定, 因为把这两个操作合并为一个层之后, 可以利用 log-sum-exp 的 技巧来实现数值稳定.

torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)