损失函数约束类间不一致性

损失函数约束类间不一致性及类内一致性

参考书籍：Python深度学习-基于PyTorch
交叉熵损失函数对不同类之间的距离的区分性较小。原因：softmax具备分类能力但是不具备度量学习的特征，没法压缩同一类别。因此，研究者们提出了几种损失函数。
（1）三元组损失Triplet loss
三元组损失属于度量学习，通过计算两张图象之间的相似度，使得输入图像被归入到相似度大的图像类别中去。
$L_t=\sum [{\Vert f(x_i^a)-f(x_i^p)\Vert }_2^2-{\Vert f(x_i^a)-f(x_i^n)\Vert }_2^2+\alpha {]}_{+}$
$\sum$表示一个batch内所有图像的损失和，$x_i^a、x_i^p、x_i^n$为每次从训练数据中去除的3张图像，前两项为同一类，第三项为不同类。||表示欧式距离。$[{]}_{+}$表示当括号内值大于0时，为括号内值，否则取0。
优点：使用量化学习解决特征表示的类别间距问题；缺点：在训练过程中，对元组的选择的要求的技巧较高，而且要求数据集比较大。
（2）中心损失Center Loss
Center Loss用于压缩同一类别，为每个类别提供一个类别中心，最小化每个样本与其类别中心的距离。
$L_c=\sum \Vert x_i-c_{y_i}{\Vert }_2^2$。其中，$x_i$为一个样本，$y_i$为对应样本类别，$c_{y_i}$为该类别中心。该损失函数可较好的解决类间内聚性。利用中心损失的同时，一般还会加上softmax损失以保证类间的可分性。所以，最终的损失函数包括softmax损失和中心损失。$L=\lambda \times L_c+L_{softmax}$.其中，$\lambda$用于平衡两种损失函数，该权重越大，生成的特征就会越具有内聚性。优点：训练得到的特征具有内聚性；缺点：当类别数目较多时（>10000）时，内存消耗大，对GPU的要求非常高。
（3）ArcFace损失additive angular margin loss该损失函数使用归一化的网络权重和偏差来计算损失函数，对原输出${\omega }_{y_i}^T{x}_i+b_{y_i}$可转化为$|{\omega }_{y_i}|\cdot |x_i|\cdot cos(\theta )$,$\theta$ 为${\omega }_{y_i},x_i$之间的角度。对输出归一化为$s\cdot (cos({\theta }_{y_i})+m)$得到新的损失函数为
优点：不仅对权重进行了正则化，对特征也进行了正则化。