各种 loss 学习笔记

之间已经介绍过几个比较经典的 loss function 啦，这里再补充三个最近看到的 loss function。

Large Margin Cosine Loss

这个 loss function 的提出，基本思想是将损失函数的计算从距离空间转换到角度空间。
欧几里得空间 (距离空间) $\to$ 余弦空间 (角度空间)

首先复习一下 softmax loss：
$$L_s=\frac{1}{N}\sum _{i=1}^N-\log p_i=\frac{1}{N}\sum _{i=1}^N-\log \frac{e^{f_{y_i}}}{{\sum }_{j=1}^C{e}^{f_j}}$$

• N：训练样本数；
• $p_i$ 是 $x_i$ 被正确分类的后验概率；
• $C$ 是类别数目；
• $f_j$ 表示全连接层的激活公式，有 $f_j=W_j^{T}x=\Vert W_j\Vert \Vert x\Vert \cos {\theta }_j$ 。（令偏重 $B_j=0$）

为了消除径向方向的影响，令 $\Vert W_j\Vert =1$ ，$\Vert x\Vert =s$ 。

为了充分提高损失函数的分类能力，引入余弦余量 $m$，得到 Large Margin Cosine Loss (LMCL) 定义如下：
$$L_{lmc}=\frac{1}{N}\sum _i-\log \frac{e^{s\left(\cos \left({\theta }_{y_i,i}\right)-m\right)}}{e^{s\left(\cos \left({\theta }_{y_i,i}\right)-m\right)}+{\sum }_{j̸=y_i}{e}^{s\cos \left({\theta }_{j,i}\right)}}$$
其中，
$$\begin{array}{r}W\\ x\\ \cos \left({\theta }_j,i\right)\end{array}$$