人脸识别-损失函数：概述【Softmax loss→Center Loss→L-Softmax Loss→SphereFace→CosFace→ArcFace】

一、Softmax Loss

$$L=-\sum _{j=1}^T{y}_{j}log(S_j)=-\frac{1}{N}\sum _i\log \left(\frac{e^{{\mathbf{w}}_{y_i}^T{\mathbf{x}}_i}}{{\sum }_j{e}^{{\mathbf{w}}_j^T{\mathbf{x}}_i}}\right)$$

• 首先 $L$ 是损失。
• $S_j$ 是 Softmax的输出向量 $S$ 的第 $j$ 个值，前面已经介绍过了，表示的是这个样本属于第 $j$ 个类别的概率。
• $y_j$ 前面有个求和符号，$j$ 的范围也是 $1$ 到类别数 $T$，因此 $y$ 是一个 $1\times T$ 的向量，里面的 $T$ 个值，而且只有 $1$ 个值是$1$，其他 $T-1$ 个值都是 $0$。那么哪个位置的值是 $1$ 呢？答案是真实标签对应的位置的那个值是 $1$，其他都是 $0$。

1、单个样本 ${\text{x}}^i$ 的 Softmax Loss公式

$$los{s}^i=-\sum _{j=1}^K{y}_{j}log({\hat{y}}_j^i)\stackrel{样本i只属于一个类别j}{=}-log({\hat{y}}_j^i)$$

• 首先 $los{s}^i$ 表示样本 $i$ 的损失。
• ${\hat{y}}_j$ 表示的是样本 $i$ 属于类别 $j$ 的预测概率。
• $y_j$ 表示的是样本 $i$ 属于类别 $j$ 的真实概率；前面有个求和符号，$j$ 的范围也是 $1$ 到类别数 $K$，因此 $y$ 是一个 $1\times K$ 的向量，里面的 $K$ 个值，
  • 多分类任务：如果每个样本只属于一个类别，则只有 $1$ 个值是$1$，其他 $K-1$ 个值都是 $0$。那么哪个位置的值是 $1$ 呢？答案是真实标签对应的位置的那个值是 $1$，其他都是 $0$。
    
    比如：假设类别总数为5类，样本3真实类别为 $c_5$ （多分类任务），则样本3的损失函数：
    $$\begin{array}{rl}los{s}^3=-\sum _{j=1}^K{y}_j^3\cdot log({\hat{y}}_j^3)& =-[y_1^3\cdot log({\hat{y}}_1^3)+y_2^3\cdot log({\hat{y}}_2^3)+y_3^3\cdot log({\hat{y}}_3^3)+y_4^3\cdot log({\hat{y}}_4^3)+y_5^3\cdot log({\hat{y}}_5^3)]\\ & =-[0\cdot log({\hat{y}}_1^3)+0\cdot log({\hat{y}}_2^3)+0\cdot log({\hat{y}}_3^3)+0\cdot log({\hat{y}}_4^3)+1\cdot log({\hat{y}}_5^3)]\\ & =-[1\cdot log({\hat{y}}_5^{}\\ & \end{array}$$