【读论文0813】Orthogonal Projection Loss

今天看论文吧~~

论文在这里
挂在arxiv上了
ICCV21
代码在这里

---

Intuition

只看摘要，我觉得这个论文应该很有用。

同样是减小类内距离，增大类间距离。从特征的正交性角度考虑。one-hot是正交的，基于此，特征应该有正交性限制。

simply maximizing the margins can cause negative correlation between classes and thereby
unnecessarily focus on well-separated classes while we tend to ensure independence between different class features to successfully disentangle the class-specific characteristics.

这里有个讲增大边界的副作用：导致类别之间的负相关，模型只关注将各类分开？？？啥意思？分开不好么？是说只把特征分开了没有解耦关键特征？后半句理解，就是说不同类的特征（用于区分各类的特征）应该是相互独立的。
让每类特征相互垂直。

Method

怎么加这个让特征垂直的限制？
$$\begin{gathered} s=\sum _{i,j\in B,y_i=y_j}⟨{\mathbf{f}}_i,{\mathbf{f}}_j⟩ \\ d=\sum _{i,j\in B,y_i\ne y_j}⟨{\mathbf{f}}_i,{\mathbf{f}}_j⟩ \\ {L}_{OPL}=(1-s)+\lambda |d| \end{gathered}$$

$⟨\cdot ⟩$ 是$\cos$距离。$|\cdot |$是$L2$norm。

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
标签一样的，就让他们尽量同一方向；标签不一样的就让他们的特征尽量垂直。（那要是让特征都大于$\pi /2$不好么？好像明白一点儿，大于$\pi /2$的话在别的特征上仍然有投影，区分各个类的特征应该是自己最独特的特征，所以应该相互正交。）

总结

这个限制被当作正则项，可以和其他的损失函数联合使用。