SimCLR 论文阅读

最新推荐文章于 2024-12-16 23:48:34 发布

xbdxwyh

最新推荐文章于 2024-12-16 23:48:34 发布

阅读量2.1k

点赞数 3

分类专栏：自监督学习文章标签：神经网络机器学习人工智能

本文链接：https://blog.csdn.net/qq_36868451/article/details/114750487

版权

SimCLR论文深入探讨了对比学习的要素，包括数据增强、损失函数、batch大小和投影头设计。数据增强对于对比学习至关重要，更大batch size能提升模型性能。ResNet-50作为基础网络，配合2层MLP投影头，使用NT-Xent损失函数在ImageNet上预训练，达到无监督学习的新高度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SimCLR原文链接
1. 导读 ：这篇文章通过严密的实验设计，系统的探究出了学习出一个好的对比学习的网络的一些必要因素。在本篇文章中，有以下三点：

Data argumentation 数据增强起到了至关重要的作用
对比学习的损失函数和非线性映射也有很重要的影响
更大的batch size和更多的迭代步骤能让对比学习的模型效果更好。（换句话说是不是说明收敛较慢呢？）

通过利用本文中实验验证的一些因素，作者设计出了一个新的对比学习的模型，称为SimCLR。通过在ImageNet上使用SimCLR进行自监督学习，作者达到了新的SOTA水平，最终达到了 76.5%/85.8%的Top1/Top5 Acc。
在这里插入图片描述

2. Method

受到最近的一些对比学习的启发，作者通过计算一个图片在不同的数据增强下的特征一致性的损失值来评估模型所学到的特征表示的性能。

2.1 基本的对比学习框架如下图所示：

在这里插入图片描述
$\bold x$ 代表的是任意一张图片， $\tilde{ \bold x_i}$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xbdxwyh

关注关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

论文学习之对比学习【1】-SimCLR：论文阅读与简单demo测试

cnjs1994的博客

05-31

973

对比学习simCLR的解读和基于Pytorch的简单测试。

SimCLR论文阅读笔记

YoooooL_的博客

04-22

451

原文链接https://arxiv.org/abs/2002.05709 隐空间是压缩数据的一个表示。隐空间的作用是为了找到模式(pattern)而学习数据特征并且简化数据表示。 triplet loss超越constrative loss的原因有两个：1）constrative loss有一个固定的a，而triplet loss能够灵活适应各种空间形状，一定程度上能够抵御噪声的影响；2）triplet loss只要求正例与正例的距离小于正例与负例...

参与评论您还未登录，请先登录后发表或查看评论

【ICML 2020对比学习论文解读】SimCLR: A Simple Framework for Contrastive Learning of Visual Representations

捡起一束光的博客

10-09

1901

对比学习是一种自监督学习方法，在无标签数据集上仍可以学习到较好的表征。对比学习的主要思想就是相似的样本的向量距离要近，不相似的要远，以此获得数据的高阶信息。

论文解读：(SimCLR)A Simple Framework for Contrastive Learning of Visual Representations

weixin_50917576的博客

04-18

3145

本文提出了SimCLR:一个简单的视觉表征对比学习框架。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或内存库。为了理解是什么使对比预测任务能够学习有用的表示，我们系统地研究了我们框架的主要组成部分。我们表明: (1)数据增强的组成在定义有效的预测任务中起着关键作用; (2)在表征和对比损失之间引入可学习的非线性转换，大大提高了学习表征的质量; (3)与监督学习相比，对比学习受益于更大的批处理规模和更多的训练步骤。

SimCLR-[论文学习笔记]

qq_45634318的博客

07-28

4017

SimCLR-一个简单的对比学习框架

【论文精读】SimCLR

weixin_44934783的博客

02-13

1296

SimCLR

SimCLR v2 论文阅读

qq_36868451的博客

03-12

871

SimCLR v2 论文阅读 Big Self-Supervised Models are Strong Semi-Supervised Learners 前言：这篇文章通过把NLP领域上的大规模数据集上预训练+任务导向的微调的思路应用到了CV领域，通过在ResNet上使用文章中设计的训练方法，仅通过少量的有标记的数据集进行调整，就超过了完全使用所有标记的数据集的模型的准确率。 0. 摘要 One paradigm for learning from few labeled examples while

对比学习论文阅读 simCLR A Simple Framework for Contrastive Learning of Visual Representations

qq_45738761的博客

04-24

815

但是当batch size很大的时候，学习率增加太大会导致学习不稳定，尤其是在训练早期阶段，如果学习率太大，则参数可能在错误的方向上更新很多，从而导致模型最终的表现很差。作者从以上观察出发得出结论，既然并不是所有层的ratio比较小，那么各个层的更新参数使用的学习率应该根据自己的情况有所调整，而不是所有层使用相同的学习率。之前主流的用来缓解该问题的方法是学习率warm-up，在训练的前几个周期，从一个比较小的学习率开始，线性增加到最终使用的学习率。（SGD属于离线学习，BGD、MBGD属于在线学习）

对比学习系列二：论文阅读A Simple Framework for Contrastive Learning of Visual Representations（SimCLR)

weixin_45857030的博客

12-16

968

对比学习系列二：A Simple Framework for Contrastive Learning of Visual Representations

simclr:SimCLRv2-大型自我监督模型是强大的半监督学习者

03-14

SimCLR-视觉表示形式对比学习的简单框架消息！我们发布了SimCLR的TF2实现（以及TF2中的转换后的检查点），它们位于。消息！新增了用于Colabs，请参见。 SimCLR的插图（来自）。 SimCLRv2的预训练模型我们在这里开源了总共65个经过预训练的模型，与论文的表1中的模型相对应：深度宽度 SK 参数（M）金融时报（1％） FT（10％） FT（100％）线性评估监督下 50 1倍错误的 24 57.9 68.4 76.3 71.7 76.6 50 1倍真的 35 64.5 72.1 78.7 74.6 78.5 50 2倍错误的 94 66.3 73.9 79.1 75.6 77.8 50 2倍真的 140 70.6 77.0 81.3 77.7 79.3 101 1

【对比学习论文】SimCLR 视觉表征对比学习的简单框架

qq_43058281的博客

02-25

1303

SimCLR

论文阅读——SimCLR：A Simple Framework for Contrastive Learning of Visual Representations

qq_44317766的博客

01-24

1565

SimCLR论文总结：构建负样例的方式在对比学习中很重要。主要探究了图像变换、batchsize对于学习到的表示的影响。构造负样本的方法是通过两次数据增强，产生2N-2个负样本具体流程：假设每个batch中有两张图片（dog和chair），以dog为例对一张dog进行随机增强，产生两张图像这两张增强之后的图像送到网络f中，在这里产生一个特征向量h h经过MLP（一个全连接网络）也就是投影操作g，产生z z用于计算对比loss 想要的表示是h，最终的特征提取器是f 注意的是：在最终使用的时

论文不详细解读（二）——SimCLR系列

qq_44965314的博客

06-30

1139

1）Encoder 变长变大：SimCLR v2 用了更大的ResNet架构，把原来的 ResNet-50 (4×) 拓展成了 ResNet-152 (3×) 和 selective kernels (SK)，记为 ResNet-152 (3×+SK)，变成这样以后，把这个预训练模型用 1%的 ImageNet的标签给 Fine-tune 一下，借助这一点点的有监督信息，获得了29个点的提升。假设现在有1张任意的图片x，叫做Original Image，先对它做数据增强，得到2张增强以后的图片x1和x2。

SimCLR论文blog讲解笔记------ICML 2020

落了一地秋的博客

07-07

505

SimCLR论文blog讲解笔记------ICML 2020写在前面Blog网页笔记算法详解相关文章写在前面全文来自【ICML 2020】SimCLR所作的笔记，我只不过是知识的搬运工。如有侵权，请联系我删除。 Blog网页笔记算法详解首先，第一个公式什么意思呢？其实非常好理解，不过是，向量归一化后点积的形式衡量相似性。这其实在MoCoV1 和 Menmory bank 这两篇文章都有提到，且这里和MoCoV1一样用的是余弦衡量的相似性，如果记得没错的话。 N 个样本两种 data

论文阅读_对比学习_SimCLR

谢彦的技术博客

08-14

704

对比学习属于自监督学习．自监督学习一般不需要标签，通过数据本身构造模型，训练结果可以支持更多下游任务．

论文阅读笔记（6）---SimCLR

qq_39594939的博客

06-29

1288

SimCLR算法思想和模型框架的介绍

【论文阅读笔记】SimCLR - A Simple Framework for Contrastive Learning of Visual Representations

qq_44653420的博客

12-13

1431

【论文阅读笔记】SimCLR - A Simple Framework for Contrastive Learning of Visual Representations

这三篇论文开源了！何恺明等人的PointRend，Hinton组的SimCLR和谷歌大脑的EfficientDet...

fengdu78的博客

04-01

911

前言近期开源的项目真不少，一方面CVPR 2020录用结果放出，所以大量的CVPR 2020论文以及相应的代码也逐渐放出。本文将重点介绍近期比较值得关注的3个开源项目（PointRen...

simclr论文讲解

最新发布

04-02

### SimCLR 论文详解 SimCLR 是一种基于对比学习的自监督学习方法，旨在通过最大化相同数据在不同增广下的一致性来学习强大的表达能力[^2]。以下是对其核心概念和技术细节的详细解析： #### 1. 核心思想 SimCLR 的设计目标是在无需标注的情况下，利用大量未标记数据训练出具有强大泛化能力的模型。它通过构建正样本对（positive pairs）和负样本对（negative pairs），并通过优化对比损失函数实现这一目标[^4]。 #### 2. 主要组成部分 SimCLR 框架由以下几个关键模块组成： - **数据增广 (Data Augmentation)** 数据增广是生成正样本对的核心手段。通过对同一张图片应用不同的随机变换（如裁剪、颜色抖动、高斯模糊等），可以得到两个视图（views）。这些视图被用作正样本对输入到模型中。 - **Encode 网络** Encode 网络通常是一个预定义的基础架构（如 ResNet），用于提取原始数据的高级特征表示。该部分负责将输入数据映射到隐空间。 - **Projection Head 网络** Projection Head 是一个小型多层感知机（MLP），连接在 encode 网络之后。它的作用是对 encode 特征进一步处理，从而更好地适应后续的对比学习任务。 - **对比学习函数 (Contrastive Loss Function)** 对比学习的目标是最小化正样本对之间的距离，同时最大化负样本对的距离。常用的损失函数包括 NT-Xent 和 InfoNCE 等。 #### 3. 工作流程 SimCLR 的工作流程如下： - 输入一张图片并对其进行两次独立的数据增广操作，生成两个视图 $v_1$ 和 $v_2$。 - 将这两个视图分别送入相同的编码器网络和投影头网络，获得它们对应的嵌入向量 $z_1$ 和 $z_2$。 - 使用对比损失函数衡量 $z_1$ 和 $z_2$ 的相似度，并更新模型参数以优化性能。 #### 4. 技术亮点 - **无标签依赖**：SimCLR 不需要任何人工标注即可完成高质量特征的学习过程。 - **灵活性强**：支持多种类型的数据集以及下游任务迁移场景下的高效适配[^1]。 - **实验验证充分**：作者提供了详尽的消融分析结果证明每一步改进的有效性和必要性。 #### 示例代码片段以下是一段简单的 PyTorch 实现示例，展示如何搭建基本版 SimCLR 架构： ```python import torch.nn as nn class SimCLR(nn.Module): def __init__(self, base_encoder, out_dim=128): super(SimCLR, self).__init__() # Encoder network self.encoder = base_encoder(num_classes=out_dim) # Projection head self.projection_head = nn.Sequential( nn.Linear(out_dim, out_dim), nn.ReLU(), nn.Linear(out_dim, out_dim) ) def forward(self, x1, x2): z1 = self.projection_head(self.encoder(x1)) z2 = self.projection_head(self.encoder(x2)) return z1, z2 ```