Loss Function Evolution for Face Recognition

损失函数往往导向着模型的收敛方向。一个好的损失函数对于所要解决的问题至关重要。现如今，人脸识别方法都是将人脸映射为低维feature vector，通过对比feature vector之间的距离来判断该人脸是否属于同一Identity。由于人脸类别多，同一类别的样本量少，因此通过训练模型增加类间(inter-class)距离，减小类内(intra-class)距离成为人脸识别领域的主要优化方向。近些年人脸识别算法的提升大多依靠损失函数的改进。

Softmax Loss

Softmax

学过神经网络的同学，应该对softmax函数并不陌生，经常作为分类网络的最后一层，输出预测类别的概率分布。
$$s_i=\frac{e^{f_i}}{{\sum }_{j=0}^c{e}^{f_j}}\text{\hspace{1em}(1)}$$
其中， $s_i$代表模型预测$i$-th类别的概率值，$c$为类别数。

Softmax Loss

$$\mathfrak{L}=-\sum _{i=1}^c{y}_{i}log{s}_i\text{\hspace{1em}(2)}$$
其中，$y_i$是标签向量$i$-th的值。由于分类问题对应只有一个类别为真实类别，所以在标签向量中，只有表示真实标签的位置的值为1，其余位置为0。因此上式可以简化为
$$\mathfrak{L}=-log{s}_k\text{\hspace{1em}(3)}$$
其中，$k$为真实标签对应的索引。如果采用了mini-batch的训练方式，上式可以进一步写为：
$$\mathfrak{L}=-\sum _{i=1}^{m}log{s}_{k_i}\text{\hspace{1em}(4)}$$
其中，$m$表示mini-batch的大小，$k_i$表示$i$-th个样本的真实标签的索引。

直观的理解，$s_i\in [0,1]$， 而函数$y=-logx$在这个范围内属于减函数，如下图所示。该函数距离1越近，函数值越小，距离0越远，函数值越大。模型总是向着Loss函数值减小的方向迭代，因此，在监督训练下，模型会向输出真实标签，也即对位真实标签的预测概率为1的方向收敛。

Cross Entropy

本来想自己写的，并简要描述一下信息量和信息熵的概念。看了很多资料也没有找出确切的有关解释。链接虽然也没有讲述清楚概念，但本博客主要是写关于损失函数的，连接在这方面对交叉熵写的很好，所以直接引荐过来。

交叉熵损失函数原理详解

---

Center Loss

Center Loss损失函数实在Softmax Loss的基础上，增加对特征距离该类别的中心特征约束。根据公式4和公式1可得：
$$\begin{array}{rl}\mathfrak{L}& =-\sum _{i=1}^{m}log{s}_{k_i}\\ & =-\sum _{i=1}^{m}log\frac{e^{W_{k_i}^T{x}_i+b_{k_i}}}{{\sum }_{j=0}^c{e}^{W_j^T{x}_i+b_j}}\end{array}\text{\hspace{1em}(5)}$$
其中，$W_j^T$代表最后一个全连接层的权重矩阵的$j$-th列，$x_i$代表$i$-th个样本的输出特征，$b_j$代表所对应的偏置。
在此基础上，增加输出特征距离特征中心距离的约束，可得到：
$$\mathfrak{L}=-\sum _{i=1}^{m}log\frac{e^{W_{k_i}^T{x}_i+b_{k_i}}}{{\sum }_{j=0}^c{e}^{W_j^T{x}_i+b_j}}+\frac{\lambda }{2m}\sum _{i=1}^m\Vert x_i-{\mathfrak{c}}_{k_i}{\Vert }_2^2\text{\hspace{1em}(6)}$$
其中，${\mathfrak{c}}_{k_i}$表示$k_i$-th类别中心特征。$\lambda$用来控制两者权重。效果图如下：

---

Triplet Loss

三元组损失函数，三元组由Anchor， Negative， Positive这三个组成。我们想让Anchor和Positive尽量的靠近（同类距离），Anchor和Negative尽量的远离（类间距离）。
$$\mathfrak{L}(A,P,N)=\sum _{i=1}^{m}max(\Vert f(x_i^A)-f(x_i^P){\Vert }_2^2-\Vert f(x_i^A)-f(x_i^N){\Vert }_2^2+\alpha ,0)\text{\hspace{1em}(7)}$$
其中，$\Vert f(x_i^A)-f(x_i^P){\Vert }_2^2$代表同类间输出特征的距离，$\Vert f(x_i^A)-f(x_i^N){\Vert }_2^2$则代表不同类别间输出特征的距离。$\alpha$表示margin。

---

L-Softmax

根据公式5，进一步分析可得：
$$\begin{array}{rl}\mathfrak{L}& =-\sum _{i=1}^{m}log\frac{e^{W_{k_i}^T{x}_i+b_{k_i}}}{{\sum }_{j=0}^c{e}^{W_j^T{x}_i+b_j}}\\ & =-\sum _{i=1}^{m}log\frac{e^{\Vert W_{k_i}^T\Vert \Vert x_i\Vert cos({\theta }_{i{k}_i})+b_{k_i}}}{{\sum }_{j=0}^c{e}^{\Vert W_j^T\Vert \Vert x_i\Vert cos({\theta }_{ij})+b_j}}\end{array}\text{\hspace{1em}(8)}$$
其中，$\theta$表示特征与对应权重向量间的角度值。假设只有两个类别，根据公式8，两个类别的决策边界可以计算为：
$$\Vert x_i\Vert (\Vert W_{k_i}^T\Vert cos({\theta }_{i{k}_i})-\Vert W_j^T\Vert cos({\theta }_{ij}))+(b_{k_i}-b_j)=0$$
忽略偏置， 我们希望:
$$\Vert W_{k_i}^T\Vert \Vert x_i\Vert cos({\theta }_{i{k}_i})>\Vert W_j^T\Vert \Vert x_i\Vert cos({\theta }_{ij})$$
L-softmax损失函数则提出：
$$\Vert W_{k_i}^T\Vert \Vert x_i\Vert cos(m{\theta }_{i{k}_i})>\Vert W_j^T\Vert \Vert x_i\Vert cos({\theta }_{ij})$$
其中，${\theta }_{i{k}_i}\in [0,\frac{\pi }{m}]$。由于cos函数在$[0,\pi ]$属于减函数，这使得：

$$\Vert W_{k_i}^T\Vert \Vert x_i\Vert cos({\theta }_{i{k}_i})\ge \Vert W_{k_i}^T\Vert \Vert x_i\Vert cos(m{\theta }_{i{k}_i})>\Vert W_j^T\Vert \Vert x_i\Vert cos({\theta }_{ij})$$
m的加入，使得模型的学习难度增大。 与以往增加margin的方式不同，这种方式通过增加angular-margin来增加类间距离。如在二分类情况下，分类边界增加的margin如下图所示。

为了限制$\theta$角度，原文中将损失函数则定义如下：
$$\mathfrak{L}=-\sum _{i=1}^{m}log\frac{e^{\Vert W_{k_i}^T\Vert \Vert x_i\Vert \psi ({\theta }_{i{k}_i})}}{e^{\Vert W_{k_i}^T\Vert \Vert x_i\Vert \psi ({\theta }_{i{k}_i})}+{\sum }_{j\ne k_i}^c{e}^{\Vert W_j^T\Vert \Vert x_i\Vert cos({\theta }_{ij})}}\text{\hspace{1em}(9)}$$
其中，
$$\psi (\theta )=(-1{)}^{k}cos(m\theta )-2k,\theta \in [\frac{k\pi }{m},\frac{(k+1)\pi }{m}]$$

---

SphereFace(A-Softmax)

A-Softmax与L-Softmax非常类似。在公式8的基础上做进一步限制：$\Vert W_j\Vert =1$ and $b_j=0$。因此决策边界仅仅与$\theta$角度（特征向量与对应的权重向量之间的夹角）有关:
$$(cos({\theta }_{i{k}_i})-cos({\theta }_{ij}))=0$$
我们希望:
$$cos({\theta }_{i{k}_i})>cos({\theta }_{ij})$$
A-softmax损失函数则提出：
$$cos(m{\theta }_{i{k}_i})>cos({\theta }_{ij})$$
其中，${\theta }_{i{k}_i}\in [0,\frac{\pi }{m}]$。由于cos函数在$[0,\pi ]$属于减函数，这使得：

$$cos({\theta }_{i{k}_i})\ge cos(m{\theta }_{i{k}_i})>cos({\theta }_{ij})$$

由于$\Vert W_j\Vert =1$，因此特征的角度就可以在超球面上进行描述：

总的损失函数如下，与公式9相比，仅仅多了权重归一化。
$$\mathfrak{L}=-\sum _{i=1}^{m}log\frac{e^{\Vert x_i\Vert \psi ({\theta }_{i{k}_i})}}{e^{\Vert x_i\Vert \psi ({\theta }_{i{k}_i})}+{\sum }_{j\ne k_i}^c{e}^{\Vert x_i\Vert cos({\theta }_{ij})}}\text{\hspace{1em}(10)}$$
其中，
$$\psi (\theta )=(-1{)}^{k}cos(m\theta )-2k,\theta \in [\frac{k\pi }{m},\frac{(k+1)\pi }{m}]$$

---

CosFace

根据公式8，Loss函数的计算是根据两个特征向量之间的余弦相似度计算的。如果分别对W和X做L2 Normalization, 使其Norm为1，考虑到X的Norm太小会导致训练loss太大（softmax的值太小），对其进行一次缩放，固定为大小S。则

$$\mathfrak{L}=-\sum _{i=1}^{m}log\frac{e^{scos({\theta }_{i{k}_i})}}{{\sum }_{j=0}^c{e}^{scos({\theta }_{ij})}}\text{\hspace{1em}(11)}$$
与L-Softmax和A-Softmax增加margin的方式不同，作者采用了直接在余弦值上增加margin，即：
$$cos({\theta }_{i{k}_i})-m>cos({\theta }_{ij})$$
此时，Loss 函数可表示为:
$$\mathfrak{L}=-\sum _{i=1}^{m}log\frac{e^{s(cos({\theta }_{i{k}_i})-m)}}{e^{s(cos({\theta }_{i{k}_i})-m)}+{\sum }_{j\ne k_i}^c{e}^{scos({\theta }_{ij})}}\text{\hspace{1em}(12)}$$

$$\begin{array}{rl}s.t.W& =\frac{W^{\ast }}{\Vert W^{\ast }\Vert }\\ X& =\frac{X^{\ast }}{\Vert X^{\ast }\Vert }\\ cos({\theta }_{ij})& =W_j^T{x}_i\end{array}$$

由于X特征向量经过了Normalization，所以，特征分布在一个超球面上，其二维和高维情况下的效果如下，可见m的引入增加了类间距离。

与之前的损失函数对比：

---

ArcFace/Insight Face

ArcFace的思想（additive angular margin）和SphereFace以及不久前的CosineFace（additive cosine margin ）有一定的共同点，重点在于：在ArchFace中是直接在角度空间（angular space）中最大化分类界限，而CosineFace是在余弦空间中最大化分类界限，这也是为什么这篇文章叫ArcFace的原因，因为arc含义和angular一样。

$$\mathfrak{L}=-\sum _{i=1}^{m}log\frac{e^{s(cos({\theta }_{i{k}_i}+m)}}{e^{s(cos({\theta }_{i{k}_i}+m)}+{\sum }_{j\ne k_i}^c{e}^{scos({\theta }_{ij})}}\text{\hspace{1em}(13)}$$

$$\begin{array}{rl}s.t.W& =\frac{W^{\ast }}{\Vert W^{\ast }\Vert }\\ X& =\frac{X^{\ast }}{\Vert X^{\ast }\Vert }\\ cos({\theta }_{ij})& =W_j^T{x}_i\end{array}$$

截至目前，不同损失函数的优化方向对比：

最后的最后，看一下FaceBook对这些方法的看法：Facebook 爆锤深度度量学习：该领域13年来并无进展！网友：沧海横流，方显英雄本色