Circle Loss 成对相似度优化的统一视角

0. Abstract

本文提供了在deep feature learning的成对相似度优化的视角，（是去找对么？）旨在最大化类内相似性$s_p$并且最小化类间相似性$s_n$。 让同一类的更紧凑，让不同类的更分开。这和我们之前的描述换个说法而已，本质都一样。

但是，他们说大多数loss functions，就好比如：

the softmax cross entropy loss和the triplet loss是把正样本和负样本嵌入成相似对，(怎么还能把正负样本放到一起形成相似对？)然后寻求去减少两者的距离。不太对啊， 感觉应该让$s_n-s_p$越来越大才好。

作者怎么得出这个结论的，数学依据是啥？ 应该先去弄懂单个$s_n或者s_p$

之前the softmax cross entropy loss（在Introduction里面还写到了他的variants）和the triplet loss的问题在于这种优化方式不够灵活，因为在every single similarity score的惩罚强度都被限制为是等同的。完全没懂这话说了个什么意思

这种优化方式是不灵活的，因为每个相似度得分的惩罚强度
限制为相等.

我们的直觉是，如果相似性评分偏离最佳值，则应予以强调。什么样子算是偏离最佳值。最后，我们简单re weight调整权重每个相似性each similarity to 突出这欠优的相似性分数。

为此，我们只需将每个相似度重新加权即可突出显示未优化的相似性得分。
数学上怎么表示相似性得分，另外，啥样算是欠优。给我的感觉就是更有针对性了，因为未优化的得到强调。

为啥叫Circle loss呢？ 因为是圆形的决策边界。

对两个基本的深度特征学习paradigms范式有着统一的公式，即

• learning with class-level labels 使用类级别标签
• pair-wise labels 使用成对标签 这种监督我还不太熟悉

Circle loss具有两个基本的深度特征学习范例的统一公式，即使用类级标签和成对标签进行学习。 从分析上来说， 我们表明，圆损失为实现更明确的收敛目标提供了一种更灵活的优化方法，与优化$s_n-s_p$的损失函数相比。

1. Introduction

holds a similarity optimization view(什么意思？)

能解决两种范式

• learning from data with class-level labels.
• from data with pair-wise labels.

对于前者，是在优化样本和权重向量之间的相似性，也就是优化

$x_i$和$W$之间的相似性

对于后者，是用一个metric loss function(去刻画去度量)，也就是衡量样本之间。

代表着，代表着，代表着，$s_p$代表属于同一类的样本之间的相似性，也就是说是多于一个个体的一种距离，而不是单个个体。

从他们要去优化相似性的角度分析，

下面这段文字的描述很不清晰，容易把相似性和样本的符号相互混淆。

为啥有这么个公式$s_n-s_p$?

不就是应该直接让$s_n$越小，$s_p$越大就好了么？

为了同时，为了让数学上更简洁合理，所以，去让$s_n-s_p$越小。应该是相似性都是正数的前提下，因为只有$s_n$越小，$s_p$越大才能使得$s_n$