Parametric Contrastive Learning：长尾问题中的对比学习

一、监督学习中的损失函数公式

在监督学习中，上面公式是我们最常见的形式，其中，q为query representation，也就是特征，w_y是fc层的权重，相乘得到logits。
二、长尾中重加权的损失函数公式
以Class-Balanced Loss Based on Effective Number of Samples这篇论文为例，为了解决数据的不平衡问题，通常在传统损失函数前面乘以权重。
三、无监督对比学习MoCo
简单介绍一下这个著名的算法MoCo，即Momentum Contrast。
首先，在没有标签的情况下，我们通过数据增强来得到正样本和负样本，比如，对原始的一张图片a分别进行两次数据增强得到b、c，b、c来自同一张图片，这就是一对正样本，而来自不同图片的就是负样本。
对比学习就是当我们没有样本的标签时，我们希望通过衡量样本和样本之间的特征相似性来对它们进行区分，也就是减小与正样本的距离，拉大与负样本的距离，

<