Contrastive Learning

主要内容

对比学习

对比学习最近已成为CV，NLP等领域的自监督学习的主要组成部分。对比学习的目的是将同一样本的增强版本相互嵌入，同时试图赶走不同样本的嵌入。对比学习需要一个相似性度量指标来度量两个embedding之间的距离。

Instance Discrimination

Instance Discrimination 任务中的对比方法是为了学习一种可以在不同实例之间分离的表示，同时忽略图像数据增强所引入的无意义方差。因为对比学习直接使正相似对表示之间的相似性最大化，而使负对表示之间的相似性最小化，所以这些对的生成方式直接决定了学习到的表示中的不变属性。在ImageNet[23]上实现对比预训练成功的最重要组成部分是数据增强方法。正如在SimCLR[16]中所分析的那样，在没有许多对比方法的适当增强（即随机作物和颜色失真）的情况下，即使对于相同的架构和损失也是如此。

框架

分类

I A taxonomy of similarity

1. Multiple Modalities (multisensory signals)
2. Data Transformation
3. Context-Instance Relationship (local vs. global)
4. Sequential Coherence