论文阅读|Circle Loss: A Unified Perspective of Pair Similarity Optimization

项目地址：CircleLoss

主要观点

• 重新计算每个相似度的权重，以突出优化程度较低的相似度得分；因此提出circle loss，由于决策边界为circle，故为circle loss；
• 对class-level label和pair-wise label进行统一；

原理阐述

1比1识别任务应该是减少类间相似度$s_n$，增大类内相似度$s_p$，但是现有的loss在反向传播时，对$s_n$与$s_p$的梯度更新是一致的。这就导致某些点无法得到很好的更新，比如$s_n$与$s_p$都趋于0时，$s_n$不应该再优化了，重点应该放在$s_p$

1. (a)图中，三点的$(s_n-s_p)$一致，更新方向也一致，但其实点A的$s_n$已经更新得不错了，需要增加$s_p$的更新，点B反之
2. (a)图中，决策边界处的所有点(T, T’)都可以作为优化目标，梯度更新方向不明确，(b)图中的点T很明确地指出了优化目标

1. 图(a)(b)中，在达到边界之前，$s_n$与$s_p$的梯度更新是一致；
2. 图(a)(b)中，在达到边界之前，梯度基本是固定值，在收敛时突然减小，点B更靠近边界，但是与点A的梯度是一致的；
3. 图(a)(b)中，决策边界（白虚线）平行于$s_p-s_n=m$，边界上的任意点都可以作为目标；

具体实现

• 定义一个统一的损失函数
  $$\begin{array}{rl}{\mathcal{L}}_{uni}& =\log \left[1+\sum _{i=1}^K\sum _{j=1}^L\exp \left(\gamma \left(s_n^j-s_p^i+m\right)\right)\right]\\ & =\log \left[1+\sum _{j=1}^L\exp \left(\gamma \left(s_n^j+m\right)\right)\sum _{i=1}^K\exp \left(\gamma \left(-s_p^i\right)\right)\right]\end{array}$$
  其中，$\gamma$表示缩放因子

• 对于class-level labels，比如AM-Softmax，有
  $$\begin{array}{rl}{\mathcal{L}}_{am}& =\log \left[1+\sum _{j=1}^{N-1}\exp \left(\gamma \left(s_n^j+m\right)\right)\exp \left(-\gamma s_p\right)\right]\\ & =-\log \frac{\exp \left(\gamma \left(s_p-m\right)\right)}{\exp \left(\gamma \left(s_p-m\right)\right)+{\sum }_{j=1}^{N-1}\exp \left(\gamma s_n^j\right)}\end{array}$$

• 对于pair-wise labels，比如Triplet loss，有
  $$\begin{array}{rl}{\mathcal{L}}_{\text{tri }}& =\underset{\gamma \to +\infty }{\lim }\frac{1}{\gamma }{\mathcal{L}}_{uni}\\ & =\underset{\gamma \to +\infty }{\lim }\frac{1}{\gamma }\log \left[1+\sum _{i=1}^K\sum _{j=1}^L\exp \left(\gamma \left(s_n^j-s_p^i+m\right)\right)\right]\\ & =\max {\left[s_n^j-s_p^i\right]}_{+}\end{array}$$

• 将$(s_n-s_p)$调整为$({\alpha }_n{s}_n-{\alpha }_p{s}_p)$，赋予这两种相似度不同的初始学习率
  $$\{\begin{array}{c}{\alpha }_p^i={\left[O_p-s_p^i\right]}_{+},\\ {\alpha }_n^j={\left[s_n^j-O_n\right]}_{+}\end{array}$$
  [·]+表示在0处截断，$O_n$与$O_p$分别表示最佳位置
  $$\begin{array}{rl}{\mathcal{L}}_{\text{circle }}& =\log \left[1+\sum _{i=1}^n\sum _{j=1}^L\exp \left(\gamma \left({\alpha }_n^j{s}_n^j-{\alpha }_p^i{s}_p^i\right)\right)\right]\\ & =\log \left[1+\sum _{j=1}^L\exp \left(\gamma {\alpha }_n^j{s}_n^j\right)\sum _{i=1}^K\exp \left(-\gamma {\alpha }_p^i{s}_p^i\right),\right]\end{array}$$

• 给$s_n$与$s_p$设置不同的margin
  $${\mathcal{L}}_{\text{circle }}=\log \left[1+\sum _{j=1}^L\exp \left(\gamma {\alpha }_n^j\left(s_n^j-{\Delta }_n\right)\right)\sum _{i=1}^K\exp \left(-\gamma {\alpha }_p^i\left(s_p^i-{\Delta }_p\right)\right)\right]$$

• 对于决策边界${\alpha }_n\left(s_n-{\Delta }_n\right)-{\alpha }_p\left(s_p-{\Delta }_p\right)=0$，将学习率代入其中，可以得到
  $${\left(s_n-\frac{O_n+{\Delta }_n}{2}\right)}^2+{\left(s_p-\frac{O_p+{\Delta }_p}{2}\right)}^2=C$$
  其中，$C=\left({\left(O_n-{\Delta }_n\right)}^2+{\left(O_p-{\Delta }_p\right)}^2\right)/4$。此时，决策边界是一个circle。

• 由于超参数过多，统一用$m$进行管理，令$O_p=1+m$，$O_n=-m$，${\Delta }_p=1-m$，${\Delta }_n=m$，可以得到
  $${\left(s_n-0\right)}^2+{\left(s_p-1\right)}^2=2m^2$$
  此时，超参数只剩下缩放因子$\gamma$和裕度值$m$

引申文献

• 《 Adaptive Margin Circle Loss for Speaker Verification》
  
• 当margin太小时，梯度会变为线性函数；margin过大时，在决策边界处，梯度会迅速下降为0【这有什么不好吗？】
• 在训练阶段，margin由大到小变化
• 当语音块chunk较小时，训练比较困难，使得margin根据chunk size进行更新
  $$m=\left(1-\lambda \frac{L-L_{\min }}{L_{\max }-L_{\min }}\right)m_0$$