loss学习

概述（适用范围）

不同loss函数基本公式及区别：

几何差异

softmax

xi是属于yi类第i个样本的特征向量，Wj是权重第j列，bj是偏置；

缺点：softmax无法让类内具有高相似性，类间样本差异不明显；线性变换矩阵W大小随着身份数量n的增大而线性增大；

特征向量归一化，权重归一化

令bj=0，W Tj xi = ‖Wj ‖ ‖xi‖ cos θj ，θj是Wj和xi之间的角度，再令||Wj||=1，使用l2修正||xi||，缩放为s；这样后续人脸验证只和角度有关；

优点：模型效果差时学习速度比较快，效果好时变慢；

缺点：随着分类数目增大，分类层的矩阵参数也增大；对于封闭集分类问题，学到的特征是可分离额，但对于开放集人脸识别问题，所学特征没有足够的区分性；

Centre loss

c_yi是第yi类特征中心，xi是属于yi类的第i个特征，Lc是centre loss，λ缩放Lc拉开类间距离；

通过将特征和特征中心的距离和softmax loss一起作为损失函数，缩小深度特征和其在欧式空间中相应的类中心之间的距离，实现类内紧致性；类间差异由softmax loss保证；

缺点：更新实际类别中心困难，因为人脸类别数据增加很快；

代码地址：jxgu1016/MNIST_center_loss_pytorch: A PyTorch implementation of center loss on MNIST (github.com)

SphereFace

m值越大，优化难度越大，但类间距离越大；

假设最后一个连接层的线性映射矩阵可以用来表示角度空间中的类中心，因此因此能用乘法方式缩小深度特征和相应权重之间的角度；

缺点是整数的乘法让目标曲线非常陡峭，阻碍了收敛，因此softmax主导了训练过程。

代码地址：wy1iu/sphereface: Implementation for in CVPR’17. (github.com)

CosFace

cos(θj,i)=Wjxi，

在**余弦空间cos(θ)**最大化分类界限；

代码地址MuggleWang/CosFace_pytorch: Pytorch implementation of CosFace (github.com)

ArcFace

θ是特征向量Xi和完全连接层权重Wij之间的角度,θyi是yi类的角度；

在角度空间θ中最大化分类界限，对特征向量和权重归一化，对θ加上角度间隔m，角度间隔比余弦间隔在对角度的影响更加直接，几何上有恒定的线性角度margen；提高了类间可分性，同时加强类内紧度和类间差异；

理解：加上m，训练时降到固定损失值时，有m和无m时e的指数项是相等的，有m的θyi就相对减少了，这样i类别的输入特征和权重间的θyi缩小了，也就是m把θyi挤得更类内聚合了，和其他θ类间也就更分离了；

具体操作：

代码地址：https://github.com/deepinsight/insightface

总结

流行方向是将margins和已有的loss函数联合，来扩大类间可分性；

人脸特征表示是使用深度卷积神经网络（DCNN）embedding，目前有两个流派来训练DCNN：

1、把这个看成一个分类任务，例如使用softmax分类器；缺点是分类矩阵会随着人物数量线性增加，且不适合开集人脸识别问题；

2、直接学习embedding，例如使用triplet loss；缺点是不适合大规模数据集，迭代步骤显著增加，且针对semi-hard样本解决不理想；

3、不同loss基本上都是在指数上做手脚，用于增大类间差异，减少类间差异。