[CVPR 2020] Circle Loss: A Unified Perspective of Pair Similarity Optimization论文笔记

Circle Loss

由旷视研究院孙奕帆发表于CVPR 2020 Oral，赞~~

1. 论文摘要

（1）文章基于相似度优化层面对从class-level label和pair-wise label数据中学习的过程进行分析和优化。
（2）传统的方法，包括Softmax, Triplet Loss等，实际上都是在最小化类间相似度$s_n$，最大化类内相似度$s_p$，即优化目标是最小化$(s_n-s_p)$。传统方法的主要问题如图1所示：首先，优化目标赋予$s_n$和$s_p$幅值相同的梯度值，这样优化过程缺乏灵活性（在某些情况下$s_n$足够小，但还是有跟$s_p$幅值相同的梯度值）；其次，由于优化后的$s_n-s_p$决策边界是一条直线，即边界上每个点的$s_n$和$s_p$差值固定（由距离参数margin决定），这样会造成优化状态不明确，影响特征空间的可分性。

（3）基于class-level label和pair-wise label学习过程是完全相同的出发点，文章提出将两种学习过程统一到一个框架内，并且根据当前状态与优化状态间的差距定义$s_n$和$s_p$的不同权重。
（4）文章首先给出了统一在一个框架内的损失函数，公式如式(1)所示：
$$L_{\mathrm{u}\mathrm{n}\mathrm{i}}=\log \left[1+\sum _{i=1}^K\sum _{j=1}^L\exp \left(\gamma \left(s_n^j-s_p^i+m\right)\right)\right]=\log \left[1+\sum _{j=1}^L\exp \left(\gamma \left(s_n^j+m\right)\right)\sum _{i=1}^K\exp \left(\gamma \left(-s_p^i\right)\right)\right]\text{\hspace{1em}(1)}$$
该损失函数经过少许变形即可退化成Softmax Loss及Triplet Loss。文章又根据当前优化状态与最优状态之间的差距分别赋予相对于sn和sp线性变化并且相互独立的权重αn和αp。变形后的Loss函数如下式所示：

该Loss函数在$(s_n,s_p)$相似度空间产生的决策曲线${\alpha }_n{s}_n-{\alpha }_p{s}_p=m$为圆形，因此称为Circle Loss。
（5）论文提出了一个新型的损失函数可以同时包含两种数据相似度学习过程，在优化过程中自定义的加权系数可以让优化更灵活，优化目标更明确。文中提出的方法在人脸识别，Person ReID及细粒度图像检索任务中都可以得到与SOTA接近甚至更好的性能。

2. 实现方法

  传统的Softmax Cross-Entropy Loss形式乘以文中提出的自适应相似性权重后得到如下式的变形形式：

式中的${\alpha }_n$和${\alpha }_p$分别由最优状态$O_n$和$O_p$决定，${\alpha }_n$和${\alpha }_p$相对于$s_n$和$s_p$呈线性变化，具体公式如式(2)：
$$\{\begin{array}{l}{\alpha }_p^i={\left[O_p-s_p^i\right]}_{+}\\ {\alpha }_n^j={\left[s_n^j-O_n\right]}_{+}\end{array}\text{\hspace{1em}(2)}$$
  Circle Loss统一了class-level label数据和pair-level label数据的学习，因此引入距离参数${\Delta }_p$和${\Delta }_n$后的Circle Loss损失函数如式(3)：
$$L_{circle}=\log \left[1+\sum _{j=1}^L\exp \left(\gamma {\alpha }_n^j\left(s_n^j-{\Delta }_n\right)\right)\sum _{i=1}^K\exp \left(-\gamma {\alpha }_p^i\left(s_p^i-{\Delta }_p\right)\right)\right]\text{\hspace{1em}(3)}$$
式(2)和式(3)中参数设置为$O_p=1+m$, $O_n=-m$, ${\Delta }_p=1-m$, ${\Delta }_n=m$，因此Circle Loss仅引入两个超参数$\gamma$和$m$，决策边界为一个圆形，圆心$(s_n,s_p)=(0,1)$，半径由$m$控制：
$${\left(s_n-0\right)}^2+{\left(s_p-1\right)}^2=2m^2$$

3. 实验结果

3.1 Face Recognition

3.2 Person ReID

	Market1501			DukeMTMC			MSMT17
	mAP	Rank-1	Rank-5	mAP	Rank-1	Rank-5	mAP	Rank-1
VA-reID (AAAI 2020)	91.70	96.23	98.69	84.51	91.61	96.23	--	--
MGN+Circle Loss	87.4	96.1	--	--	--	--	52.1-	76.9

3.3 Fine-grained Image Retrieval

4. 讨论

4.1 梯度平衡性问题

这部分内容主要来自和借鉴了知乎王峰的回答和相关知乎技术贴，如有转载请注明出处。(如何理解和看待CVPR 2020 Circle Loss)

4.1.1 数学背景知识

1. LogSumExp函数是max函数的平滑近似
   $$LSE(x;\gamma )=\frac{1}{\gamma }\log \sum _i\exp (\gamma x_i)\approx \max (x)\text{\hspace{1em}(4)}$$
   式中$\gamma$越大，近似效果越好
2. 如果式4整体加上负号，LSE也能够近似min函数、
   $$NLSE(x;\gamma )=-\frac{1}{\gamma }\log \sum _i\exp (-\gamma x_i)\approx \min (x)$$
3. Softplus函数是relu函数的近似
   $$Softplus(x)=\log (1+e^x)\approx \max (x,0)={\left[x\right]}_{+}$$

4.1.2 问题

  无论是Triplet Loss或是Softmax CE Loss都是正负平衡的Loss，即Positive Similarity和Negative Similarity拿到的梯度是相等的，而Circle Loss里正样本有K个，负样本有L个，梯度还平衡吗？
  答：通过4.1.1的几个近似函数改写式1得式5：
$$\begin{array}{rl}{L}_{uni}& \approx {\left[\log \left(\sum _{j=1}^L\exp \left(\gamma \left(s_n^j+m\right)\right)\sum _{k=1}^K\exp \left(\gamma \left(-s_p^k\right)\right)\right)\right]}_{+}\\ & ={\left[\log \left(\sum _{j=1}^L\exp \left(\gamma \left(s_n^j+m\right)\right)\right)+\log \left(\sum _{k=1}^K\exp \left(\gamma \left(-s_p^k\right)\right)\right)\right]}_{+}\\ & =\gamma {\left[LSE(s_n)-NSLE(-s_p)+m\right]}_{+}\\ & \approx \gamma {\left[\max (s_n)-\min (s_p)+m\right]}_{+}\end{array}\text{\hspace{1em}(5)}$$
式中的优化目标为使最小的同类相似度大于最大的异类相似度。
  LSE函数的梯度恰好是Softmax函数，也就是说，LSE的梯度是按softmax指数下降来分配的。无论$s_n$拿到多少梯度，$s_p$也都会拿到大小相同方向相反的梯度。所以不管$K$和$L$的差距有多大，同类和异类的相似度都会拿到一样多的梯度，保持了梯度的平衡性。

4.2 Circle Loss与其他几个Loss的关系

4.2.1 N-pair Loss

  N-pair Loss的Motivation也是把两种学习过程结合到一个框架下进行的，公式如下：

式中exp中的两项分别对应式(1)中的sn和sp。两者的不同点包括：首先，N-pair Loss与Softmax CE类似，仅考虑了一个positive的样本；其次，N-pair少了控制尺度的温度系数和控制距离的margin超参；最后，N-pair在学习过程中$s_n$和$s_p$的梯度是大小相同，方向相反的(梯度大小均为$\frac{\sum _{j\ne i}\exp \left(s_n^j\right)\exp \left(s_p\right)}{\sum _{j\ne i}\exp \left(s_n^j\right)+\exp \left(s_p\right)}$)。相同点是公式形式基本相同，N-pair也是可以直接考虑特征归一化之后的余弦距离。

4.2.2 Lifted Loss

  Lifted Structured Loss考虑了multi-positive的情况，并且计算的负样本对(negative pairs)比Circle Loss多，但是距离度量是Euclidean Distance，因此没有引入温度系数，也没有平衡正负样本对间的梯度。

4.2.3 Multi-similarity Loss

  MS Loss变化后得到公式(6):
$$\begin{array}{rl}{L}_{MS}& =\frac{1}{\alpha }\log \left[1+\sum _{k\in P_i}\exp \left(-\alpha \left(S_{ik}-\lambda \right)\right)\right]+\frac{1}{\beta }\log \left[1+\sum _{k\in N_i}\exp \left(\beta \left(S_{ik}-\lambda \right)\right)\right]\\ & \approx {\left[\frac{1}{\alpha }\log \left[\sum _{k\in P_i}\exp \left(-\alpha \left(S_{ik}-\lambda \right)\right)\right]\right]}_{+}+{\left[\frac{1}{\beta }\log \left[\sum _{k\in N_i}\exp \left(\beta \left(S_{ik}-\lambda \right)\right)\right]\right]}_{+}\\ & \approx {\left[\max \left(\lambda -S_{ik}\right)\right]}_{+}+{\left[\max \left(S_{ik}-\lambda \right)\right]}_{+}\\ & ={\left[\lambda -\min \left(S_{ik}\right)\right]}_{+}+{\left[\max \left(S_{ik}\right)-\lambda \right]}_{+}\end{array}\text{\hspace{1em}(6)}$$
式(6)的优化目标为使同类相似度的最小值大于某个阈值，并且异类相似度的最小值小于该阈值。式(6)和式(5)的区别可以类比Double-margin Contrastive Loss和Batch-hard Triplet Loss，其实二者应该性能差不多。我个人觉得式(6)的约束条件更强一点，因为它要求同类和异类相似度都满足relu条件。在图10所示的(sn, sp)空间内，Circle Loss的决策边界是圆形，那么MS Loss的决策边界是正方形（这块只是我的理解，也许不对，欢迎指正）。另外一个重要的区别是两篇文章的出发点不同，MS Loss的目标是综合不同Loss的难样本挖掘方法(Similarity-N, Similarity-S, and Similarity-P)，而Circle Loss是想结合Softmax CE Loss和传统Metric Learning的方法，并且优化决策边界。但是二者最终的最终形式有点殊途同归的意思。
   细细分析一下，3.3.3节中表格结果表明Circle Loss和MS Loss的性能差距不大，这个还是有意思的，后续可以做下实验。只凭猜想分析的话，虽然式(6)两项前分别除了两个系数，但其实MS Loss的梯度对于$s_n$和$s_p$的梯度也是不平衡的。由于MS Loss的出发点跟Softmax没有太大的关系（即Loss整体形式不像Circle Loss是LSE形式），所以不存在同类样本梯度和与异类样本梯度和大小相同方向相反一说，原文中给出了MS Loss对正样本和负样本的求导公式：


对所有同类样本和异类样本梯度分别求和得到：
$$\begin{array}{rl}\left|\sum _{j\in P_i}{\omega }_{ij}^{+}\right|& =\frac{\sum _{j\in P_i}\exp \left(-\alpha \left(S_{ij}-\lambda \right)\right)}{1+\sum _{j\in P_i}\exp \left(-\alpha \left(S_{ij}-\lambda \right)\right)}\\ \left|\sum _{j\in N_i}{\omega }_{ij}^{-}\right|& =\frac{\sum _{j\in N_i}\exp \left(\beta \left(S_{ij}-\lambda \right)\right)}{1+\sum _{j\in N_i}\exp \left(\beta \left(S_{ij}-\lambda \right)\right)}\end{array}\text{\hspace{1em}(7)}$$
式(7)表明一般二者数值不相等。

5. 启发

1. $s_n$和$s_p$的梯度可以不平衡，并且仔细对比了MS Loss和Circle Loss，对两篇文章都有了更深的理解。
2. 超参设置挺有意思，通过精妙的设计，不仅减小了超参数目，并且还把决策边界从一次曲线变成了二次曲线。我们今年CVPR2020也投了一个相关工作，也是把Softmax和传统Metric Learning的方法统一到一个框架下，但是很遗憾最后结果是344，没有中，有一个审稿人就说我们引入了过多的超参，并且我们的故事确实也没有Circle Loss说的好。
3. 经过峰神的指点，细想觉得挺有意思但容易忽略的两个点：首先，$s_n$和$s_p$不仅局限于分类出来的logit，也可以是余弦相似度度量；其次，式(1)实际解决的是多个正样本情况下的Softmax CE Loss变形的问题。

6. 下一篇论文计划

拜读下峰神的博士毕业论文。