Center Loss

Center Loss

前言

在深度学习里，深度学习网络通常被看作是特征提取器（从第1层网络层到最后一层隐藏层），提取出来的特征x随后经过线性变换（$W^{T}x$）得到类别分数，通过softmax层计算损失。通常，我们没有对提取出来的特征x提出太大的约束，只要它能被最后一层分类器正确分类就可以了。特征x与其类别要有什么关系，需要特征x具有什么约束，这些都没有被明确地要求或规定。Softmax损失要求特征x能够被最后一层分类器正确分类，这个对特征x的约束不是很强。当给网络传入一些对抗样本（容易被网络误识别的样本）时，网络难以分辨出这些样本属于哪类。如果从提取出来的特征来说，是因为网络从对抗样本提取出来的特征处于最后一层分类器的分类边界，或者说，网络提取出来的特征没有很强的区分度。

我们看一个示意图

上图是从MNIST数据集中提取出来的特征分布图。不同颜色代表不同类别的特征。图a是训练集的特征，可以看到不同类之间的特征有明显的间隔，很容易区分不同的类别。但是，图b是测试集的特征，可以看到，有些测试样本的特征位于分类器的分类边界，使得分类器难以判断样本的类别。其原因可以认为是提取的不同类别的特征没有明显的区分度，同类的特征没有紧凑地聚在一起。

从特征特征的角度来看，为了增强网络的性能，网络提取出来的特征应该具有强的区分度（discrimination power）。怎样的特征算是有强的区分度呢？（看下图）学过聚类的朋友应该听说过，聚类的结果“簇内相似度”高且“簇间相似度”低。套用这种说法，特征应该有类内紧凑性和类间可分离性（intra-class compactness and inter-class separability）。类内紧凑性的意思是同一类的特征应该聚在一起，类间可分离性是指特征很容易划分成不同的类别。同类样本特征聚在一起，不同类特征之间的间隔更大，更容易对特征进行分类，提高网络模型的分类能力，提高鲁棒性。Softmax损失能够要求特征具有类间的可分离性，但不能约束特征的类内紧凑性。

为了约束网络提取出来的特征具有紧凑性，contrastive loss 和 triplets loss 被提出来了。contrastive loss的思想是最小化一对同类样本特征的距离，最大化一对不同样本特征之间的距离。Triplets loss则把一对变成3个。contrastive loss 和 triplets loss 需要把样本两两配对或三三组合起来，导致样本急剧增大，加长了训练的时间，提高训练难度。

Center loss ¹

算法

Center loss 能够直接对样本特征之间的距离进行约束。Center loss 添加的约束是，特征与同类别的平均特征的距离要足够小，这要求同类特征要接近它们的中心点，公式如下表示：
$$L_C=\frac{1}{2}\sum _{i=1}^m\Vert {\mathbf{x}}_i-{\mathbf{c}}_{y_i}{\Vert }_2^2$$
其中${\mathbf{x}}_i$表示第i个样本的提取特征，${\mathbf{c}}_{}$