研究会2022.07.22--对比学习

会议主题：对比学习

涉及算法：

1. SimCLR：端到端对比学习
2. MOCOv2
3. BYOL      

文章以及论文：

1. 图解SimCLR框架 - 知乎
2. 图解SimCLR框架，用对比学习得到一个好的视觉预训练模型_ronghuaiyang的博客-CSDN博客
3. 
   https://arxiv.org/pdf/2002.05709.pdf
4. SimCLR框架的理解和代码实现以及代码讲解_ronghuaiyang的博客-CSDN博客
5. 关于Hinton团队无监督新作SimCLR的所思所想 - 知乎

1. [论文笔记]——BYOL：无需负样本就可以做对比自监督学习(DeepMind) - 知乎
2. https://arxiv.org/pdf/2010.10241.pdf
3. https://arxiv.org/abs/2010.10241
4. https://generallyintelligent.ai/blog/2020-08-24-understanding-self-supervised-contrastive-learning/

从需要负样本防止训练时候的模型塌缩，到只需要正样本的 BYOL就不会发生模型塌缩。当然，后面的博客，主要讨论了 BN 很有用，不然会出现模型塌缩，学不到东西。

而BYOL的作者又反击了这种观点，使用好的网络初始化，不使用 BN 也可以训练出好的结果。

EMA:指数移动平均。

通过自监督学习，模型可以获得图像很好的表示，因此，在预训练好的模型上可以做特征抽取，从而接一些组件就可以做下游任务。

缺点：需要更多地算力训练自监督模型。