Classification loss

为何在识别领域表现不好？
其原因在于Softmax本身的定义，它正式是softmax函数加上交叉熵损失。其目的是使所有类在概率空间中具有最大的对数似然性，即确保所有类别都被正确分类，以及撤销和验证任务需要的是具有更好泛化性能的度量空间。一个度量空间，保证正确的分类并保证良好的泛化。虽然相关性很强，但并不直接相同。
Softmax能够放大微小类别之间的logit差异

Focal loss

motivation：训练数据难易度不同
方法：减小易分样本的损失权重

Center loss

motivation:减小类内距离
方法：减小每个样本离该类中心的距离的平方和

类中心更新方法：在每一个mini-batch中更新类中心。loss为该类样本到中心距离。

Contrastive center loss

motivation: 缩小类内距离的同时增大类间距离
方法：对类之间的小距离进行处罚，分母是同形式的距离不同类中心点间的距离。

Ring loss

motivation:特征归一化或权重归一化可以在一定程度上控制网络对简单或困难样本的关注程度。具体点是，如果不进行约束，网络总是希望使单个样本的特征长度和重量更大，并使难度样本的模型和权重更小。当特征向量范数相同时，角边距最大。
方法：进行特征归一化

arcface loss 系列

L-softmax

由于


softmax 等价于


有两个boundary，促使网络学到类间距离更大的，类内距离更小的特征。