[论文精读]Prototypical Contrastive Learning of Unsupervised Representations

Prototypical Contrastive Learning of Unsupervised Representations

http://arxiv.org/abs/2005.04966

原型对比学习PCL，一种无监督的表示学习方法，把对比学习和聚类联系起来。

图 1： 原型对比学习的插图。每个实例都分配给多个具有不同粒度的原型。 PCL 学习一个嵌入空间，该空间对数据的语义结构进行编码。

  先看图，尝试猜测文章的核心思想或者核心用途。蓝色圈翻译：细粒度原型（例如马和人）；绿色圈翻译：粗粒度原型（如马）；黄色箭头：实例对比学习；红色箭头：原型对比学习

绿色和蓝色圈表示外侧虚线圆的圆心，绿色大圈表示包含粗粒度原型的数据；蓝色圈内表示包含粗粒度原型和细粒度原型的数据。猜测文章就是要学习这种原型机制，使得对粗粒度数据进行一个细分。

摘要

在本文中，我们提出了原型对比学习 （PCL），这是一种无监督表示学习的新框架，它将数据的语义结构隐式编码到嵌入空间中。图 1 显示了 PCL 的图示。原型被定义为“一组语义相似实例的代表性嵌入”。我们为每个实例分配了几个不同粒度的原型，并构建了一个对比损失，与其他原型相比，它强制样本的嵌入与其相应的原型更相似。在实践中，我们可以通过在 embedding 上执行聚类来找到原型。

将原型对比学习表述为期望最大化 （EM） 算法， 其中，目标是找到最能描述数据分布的深度神经网络 （DNN） 的参数， 通过迭代近似和最大化对数似然函数。具体说来 我们将原型作为额外的潜在变量引入， 并通过执行 k-means 聚类来估计它们在 E 步中的概率。 在 M 步中，我们通过最小化我们提出的对比损失（即 ProtoNCE）来更新网络参数。 我们表明，最小化 ProtoNCE 等效于最大化估计的对数似然， 假设每个原型周围的数据分布是各向同性的 Gaussian 的。 在 EM 框架下， 广泛使用的实例判别任务可以解释为原型对比学习的一个特例， 其中，每个实例的原型是其增强特征，并且每个原型周围的高斯分布具有相同的固定方差。本文的贡献可以总结如下：

1. 我们提出