基于junit4的关于个人所得税计算的等价类与边界值_Circle Loss: 一个基于对优化的统一视角-CVPR2020...-CSDN博客

《Circle Loss: A Unified Perspective of Pair Similarity Optimization》

原文：

Circle Loss: A Unified Perspective of Pair Similarity Optimizationarxiv.org

摘要

文中提出了一种基于对的相似性优化方法，基于对的优化的方法目的都是最大化类内相似性

同时最小化类间相似性

。文中发现大多数的损失函数，包括triplet loss 和softmax激活函数加交叉熵损失函数，都是使

和

嵌入到一个相似性对，并且去减小

。这样的优化方式是不够灵活的，因为其对每一个单一相似性分数的惩罚强度是相等的。该文中的初衷是如果一个相似性得分远离最优的中心，那么其应该被更多的关注(即惩罚)。基于这个目的，文中重新加权那些欠优化的相似性得分。为了重新加权那些欠优化的分数，文中提出了

Circle loss, 之所以叫这个名字是因为其决策边界是一个圆。 Circle loss对基于类标签和基于对的标签都有一个统一的公式。

一个统一的视角

深度特征学习目的是最大化类内相似性

，同时最小化类间相似性。在余弦相似性度量下，

趋近于1，

趋近于0。

文中对基于类标签和基于对标签的采用统一的视角。已知在特征空间的一个单个样例

，假设有

个类内关于

相似性得分，

个类间关于

相似性得分。文中分别采用

和

表示两种相似性得分。

为了最小化

同时最大化

，文中提出了一个统一的损失函数：

其中

是一个尺度因子，

是一个阈值。

对于公式1，通过简单的修改可以得到triplet loss^[1]和分类的loss。

给定一个类的标签(Given class-level labels)

在分类层计算

和权重向量

的相似性得分，其中

是训练的类别数。通过

，可以计算出

个类间相似性得分，其中

是第

个非目标权重向量。同时可以得到一个单一的类内相似性得分

，这里省略了上标，因为只有这一个。根据这些先决条件，公式

1可以退化为 AM-Softmax ^[2]：

进一步，当

时，公式

2退化为 Normface ^[3]。当用矩阵乘法取代cosine相似度，并且设置

，公式最后退化为

Softmax loss。

给定一个对的标签(Given pair-wise labels)

在mini-batch中计算

和其他特征向量的相似度分数，

，其中

是反例集合

中的第

的样例，

，其中

是正例集合中的第

个样例。令

公式

1可以退化成带硬例挖掘的 triplet loss ^[1]：

Lifted-Structure loss ^[4], N-pair loss ^[5], Multi-Similarity loss ^[6]都采用了公式 3中的

来进行一个软的硬例挖掘，当

时，就变成了经典的硬例挖掘在

triplet loss ^[1]中。

Circle Loss

自适应加权(Self-placed Weighting)

文中考虑一种更灵活的优化策略去允许每个相似性得分根据其优化状态去选择优化权重。首先忽略掉公式1中阈值(margin)

，将其转换为

Circle loss:

其中

和

是非负整数权重因子。公式

4是从公式 1中派生出来，同时省略了

。在训练期间

反向传播时对

的梯度分别乘上

。假设

最优的状态是

，

最优的状态是

，其中(

)。当一个相似性分数远离他的最优点时(即

远离

)，这时其应该获得更大的权重因子，以便于更好优化使相似性分数趋近于最优值。所以

和

定义为：

其中

表示在0截断，确保

和

都是非负数。以前的loss对相似性得分的权重是一样的，

Circle loss通过

和

去自适应加权，是优化更加灵活。

类内和类间的阈值(With-in class and Between-class Margins)

在以往的损失函数中通过添加一个阈值

去优化

，因为

和

是对称的，在

处添加一个正的

等价于在

处添加一个负的

。在

Circle loss中

和

是不对称的。所以其对

和

分别需要一个阈值(

margin)，用公式表示如下：

其中

和

分别为类间和类内的阈值(

margin)。

在公式6中，Circle loss期望

并且

。通过推到决策边界来进一步分析

和

的设定。为了分析简单，文中只考虑二分类，决策边界是在

,(即令公式

6中

)，将公式

5带入其中得：

其中

。

从公式7中可以看出Circle loss的决策边界是一个以

为圆心，

为半径的圆。

在Circle loss中有5个超参数，即

，文中通过设置

,将公式

7变为：

在公式8中可以对Circle loss解释为，优化使

,并且

。参数m控制决策边界的半径，或者可以叫松弛因子。换言之，在

Circle loss中期待

并且

。因此

Circle loss中只有两个超参数，即

和

。

将m带入Circle loss中，对

和

求导得：

其中

实验结果

总结

Circle loss的思想还是根据相似得分来对其反向传播的权重进行动态调整，这点是和focal loss^[7]是一样的，focal loss是根据分类的概率动态调整反向传播的权重的。文中提到的Multi-Similarity loss^[6]是在导数中动态调整权重，可以参考我写的另一篇文章

鹰隼王间：Multi-Similarity Loss使用通用对加权进行深度度量学习-CVPR2019zhuanlan.zhihu.com

参考

^^a^b^cFaceNet: A Unified Embedding for Face Recognition and Clustering https://www.cv-foundation.org/openaccess/content_cvpr_2015/app/1A_089.pdf
^F. Wang, J. Cheng, W. Liu, and H. Liu. Additive margin softmax for face verification. IEEE Signal Processing Letters, 25(7):926–930, 2018. 1, 2, 3, 4, 6 https://arxiv.org/pdf/1801.05599.pdf
^F. Wang, X. Xiang, J. Cheng, and A. L. Yuille. Normface: L2 hypersphere embedding for face verification. In Proceedings of the 25th ACM international conference on Multimedia, pages 1041–1049. ACM, 2017. 2, 3, 4, 6 https://arxiv.org/pdf/1704.06369.pdf
^H. Oh Song, Y. Xiang, S. Jegelka, and S. Savarese. Deep metric learning via lifted structured feature embedding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4004–4012, 2016. 2, 3, 5, 6, 7 https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Song_Deep_Metric_Learning_CVPR_2016_paper.pdf
^K. Sohn. Improved deep metric learning with multi-class n-pair loss objective. In NIPS, 2016. 2, 3 http://www.nec-labs.com/uploads/images/Department-Images/MediaAnalytics/papers/nips16_npairmetriclearning.pdf
^^a^bX. Wang, X. Han, W. Huang, D. Dong, and M. R. Scott. Multi-similarity loss with general pair weighting for deep metric learning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5022– 5030, 2019. 2, 3, 7 http://openaccess.thecvf.com/content_CVPR_2019/papers/Wang_Multi-Similarity_Loss_With_General_Pair_Weighting_for_Deep_Metric_Learning_CVPR_2019_paper.pdf
^Focal Loss for Dense Object Detection https://arxiv.org/pdf/1708.02002.pdf