Loss(五)-2018：Large Margin Cosine Loss（LMCL/CosFace）【SphereFace只对W归一化；CosFace对W、X都归一，在余弦空间中最大化分类界限】

《原始论文：CosFace: Large Margin Cosine Loss for Deep Face Recognition》
《原始论文：Additive Margin Softmax for Face Verification》

第二篇论文官方代码：GitHub：https://github.com/happynear/AMSoftmax

关于SphereFace的优化，同期出了两篇文章：

• 一个是Tencent AI Lab发表在cvpr2018的 Large Margin Cosine Loss（CosFace）；
• 另外一个是happynear大神提出的AM-Softmax Loss。

二者核心原理一致，只是在论文写作中的其他侧重点有所不同。

一、Large Margin Cosine Loss（LMCL）

SphereFace中只对 $W$ 进行归一化，CosFace中对 $W$ 及 $X$ 均进行了归一化，不过为了使得训练能收敛，增加了一个参数 $s=30$，

1、Softmax Loss

首先从余弦的角度重新思考softmax损失。

softmax损失通过最大化地面真相类的后验概率将特征与不同类分开。给定一个输入特征向量 $x_i$ 及其对应的标签 $y_i$，softmax损失可以表述为:

其中：

• $p_i$ 表示被正确分类的后验概率。
• $N$ 是训练样本的数量，
• $C$：类别的数量。
• $f_j$：通常表示为一个完全连接层的激活，该层具有权重向量 $W_j$ 和偏差 $B_j$。为了简单起见，修正了偏差 $B_j=0$，结果 $f_j$由下式给出：$f_j=W_j^{T}x=\mid \mid W_j\mid \mid \cdot \mid \mid x\mid \mid \cdot cos\theta$ 。其中 ${\theta }_j$ 是 $W_j$ 和 $x$ 之间的角度。这个公式表明向量的范数和角度都对后验概率有贡献。

2、Large Margin Softmax Loss

缩小每个类别的可行角度（Feasible angle）范围，在这些类别之间产生角度Magin。
$$L_i=-\log \left(\frac{e^{\Vert {\mathbf{w}}_{y_i}\Vert \Vert {\mathbf{x}}_i\Vert \psi ({\theta }_{y_i})}}{e^{\Vert {\mathbf{w}}_{y_i}\Vert \Vert {\mathbf{x}}_i\Vert \psi ({\theta }_{y_i})}+{\sum }_j{e}^{\Vert {\mathbf{w}}_{j\ne y_i}\Vert \Vert {\mathbf{x}}_i\Vert \cos ({\theta }_j)}}\right)\text{\hspace{1em}(4)}$$

3、SphereFace（Angular Softmax Loss）

SphereFace的优化：为了开发有效的特征学习，$W$ 的范数必须是不变的。 为此，通过 $L2$ 归一化来固定 $||W_j||=1$。
$$L_{\text{ang}}=\frac{1}{N}\sum _i-\log (e^{\Vert x_i\Vert \psi ({\theta }_{y_i,i})}+{\sum }_{j\ne y_i}{e}^{\Vert x_i\Vert \cos }$$