关于对比学习（简单整理

1. 什么是对比学习？

   ​ 对比学习是一种学习方法，侧重于通过对比正反两方面的实例来提取有意义的表征。它利用的假设是，在学习到的嵌入空间中，相似的实例应靠得更近，而不相似的实例应离得更远。通过将学习作为一项辨别任务，对比学习允许模型捕捉数据中的相关特征和相似性。

   我的理解就是通过原始样本和增强样本的对比学习，在样本中学习到最能代表这些相似样本的特征表示；也通过与不同的样本之间进行学习，尽量在特征表示中排除这些不相似的样本的特征；

2. 对比学习常用语那些领域？

​ 监督学习、半监督学习、NLP、数据增强等。

3. 对比学习的经典模型：

   • SimCLR：《A Simple Framework for Contrastive Learning of Visual Representations》2020

   • MoCo：《Momentum Contrast for Unsupervised Visual Representation Learning》2020

   • BYOL：《Bootstrap your own latent: A new approach to self-supervised Learning》2020

   • SwAV：Unsupervised Learning of Visual Features by Contrasting Cluster Assignments 2020

   • Barlow Twins：《Barlow Twins: Self-Supervised Learning via Redundancy Reduction》2021

记录给自己看的！