自监督｜「SimCLR」对比学习阅读笔记

-江户川-

已于 2022-02-10 14:07:30 修改

阅读量3.2k

点赞数 2

分类专栏： -江户川-的自监督论文集文章标签：深度学习计算机视觉机器学习

于 2022-02-10 12:02:17 首次发布

本文链接：https://blog.csdn.net/weixin_43092343/article/details/122601374

版权

SimCLR是一种简单的对比学习框架，用于学习视觉表示。它使用随机数据增强，如随机裁剪和颜色扭曲，通过ResNet作为基础encoder。模型结构包括一个较小的投影头，并使用对比损失函数最大化样本对之间的相似度。全局批归一化和适当的数据增强策略对于避免模型泄露和提高特征表示质量至关重要。实验表明，SimCLR在无监督学习中能有效提升模型的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文地址：A Simple Framework for Contrastive Learning of Visual Representations

模型核心组成

以下四点是模型结构的重点，应该得到我们的关注。

随机数据增强：1. 随机裁剪 (random cropping) 2. 随机颜色扭曲（random color distortion) 3. 随机高斯模糊 (random Gaussian blur)。实验证明前两者的结合对获得优异表现至关重要。
基础 encoder，从数据增强对的样本中提取表示向量：ResNet
更小的神经网络投影结构 $g$ ，作用于表示空间
对比损失函数