【论文研读】SimCLR Google2020.2提出最新自监督方法

最新推荐文章于 2024-04-18 14:23:18 发布
最新推荐文章于 2024-04-18 14:23:18 发布
阅读量5.2k 收藏 2
点赞数 3
分类专栏： 论文研读 文章标签： 深度学习 神经网络 自监督
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/always_ease/article/details/104394519
版权
本文介绍了Google Research团队提出的自监督学习方法SimCLR，通过对比学习提升视觉表示的性能。关键在于网络结构的设计、数据增强策略以及编码器和头部架构的选择。实验表明，即使在无监督情况下，复杂的数据增强和更大的模型也能显著提高对比学习的效果。
摘要由CSDN通过智能技术生成

Title：A Simple Framework for Contrastive Learning of Visual Representations

Author：Ting Chen， Geoffrey Hinton... (Google Research)

参考：

最低0.47元/天 解锁文章
Always_ease
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SimCLR原理与代码实例讲解
禅与计算机程序设计艺术
07-13 679
1. 背景介绍 1.1 问题的由来 在计算机视觉领域，特征学习是一个重要的研究方向。传统的监督学习方法需要大量的标注数据，而标注数据的获取成本非常高。因此，无监督学习方法，特别是自监督学习方法，逐渐受到了研究者的关注。自监督学习方法通过学习数据的内在结构和分布，无需人工标注，可以大大降低学习成本。SimC
自监督｜「SimCLR」对比学习阅读笔记
weixin_43092343的博客
02-10 3117
SimCLR 是对比学习的奠基作之一，模型结构对称、简单又有效
SimCLR论文阅读笔记
YoooooL_的博客
04-22 389
原文链接https://arxiv.org/abs/2002.05709 隐空间是压缩数据的一个表示。隐空间的作用是为了找到模式(pattern)而学习数据特征并且简化数据表示。 triplet loss超越constrative loss的原因有两个：1）constrative loss有一个固定的a，而triplet loss能够灵活适应各种空间形状，一定程度上能够抵御噪声的影响；2）triplet loss只要求正例与正例的距离小于正例与负例...
SimCLR-[论文学习笔记]
qq_45634318的博客
07-28 3770
SimCLR-一个简单的对比学习框架
使用 SimCLR 推进自我监督和半监督学习
如果想成为中心，那么就到中心去吧。
06-23 504
code: https://github.com/google-research/simclr 文章目录前言SimCLR框架性能理解表示的对比学习 前言 最近，自然语言处理模型，例如BERT和T5，已经表明，通过首先在一个大型未标记数据集，然后在较小的标记数据集上进行微调。同样，训练前对大型未标记的图片数据集，具有提高计算机视觉任务性能的潜力，具体表现为标本的CNN，实例歧视，CPC，AMDIM，CMC，莫科和别的。这些方法属于自监督学习的范畴，自监督学习是一系列技术，通过从未标记的数据集中创建替代标签
自监督学习的SimCLRv2框架
AI公园
03-15 826
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Lawrence Alaso Krukrubo编译：ronghuaiyang导读一个巨大的，自监督学习的算法，性能更好。自监...
在线投资组合的论文研读与matlab实现.zip
01-23
2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
论文研读与个人复现指南.pdf
最新发布
08-06
学习前沿技术的一个重要途径是阅读最新的学术论文并尝试复现其中的方法和结果。本文将介绍如何高效地研读论文，提供个人复现资源，帮助你掌握最新技术并应用到实际项目中。
论文研读4 AlexNet.md
07-29
论文研读4 AlexNet.md
数学建模第一次论文研读报告.pdf
04-08
数学建模第一次论文研读报告.pdf
Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）
03-27
Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）
simclr:SimCLRv2-大型自我监督模型是强大的半监督学习者
03-14
SimCLR-视觉表示形式对比学习的简单框架 消息！ 我们发布了SimCLR的TF2实现（以及TF2中的转换后的检查点），它们位于。 消息！ 新增了用于Colabs，请参见。 SimCLR的插图（来自 ）。 SimCLRv2的预训练模型 我们在这里开源了总共65个经过预训练的模型，与论文的表1中的模型相对应： 深度 宽度 SK 参数（M） 金融时报（1％） FT（10％） FT（100％） 线性评估 监督下 50 1倍 错误的 24 57.9 68.4 76.3 71.7 76.6 50 1倍 真的 35 64.5 72.1 78.7 74.6 78.5 50 2倍 错误的 94 66.3 73.9 79.1 75.6 77.8 50 2倍 真的 140 70.6 77.0 81.3 77.7 79.3 101 1
SimCLR论文blog讲解笔记------ICML 2020
落了一地秋的博客
07-07 452
SimCLR论文blog讲解笔记------ICML 2020写在前面Blog网页笔记算法详解相关文章 写在前面 全文来自【ICML 2020】SimCLR所作的笔记，我只不过是知识的搬运工。 如有侵权，请联系我删除。 Blog网页笔记 算法详解 首先，第一个公式什么意思呢？ 其实非常好理解，不过是，向量归一化后点积的形式衡量相似性。 这其实在MoCoV1 和 Menmory bank 这两篇文章都有提到，且这里和MoCoV1一样用的是余弦衡量的相似性，如果记得没错的话。 N 个样本两种 data
自监督论文阅读笔记 SimCLRV2 Big Self-Supervised Models are Strong Semi-Supervised Learners
YoooooL_的博客
06-22 1984
从少量标记样本中学习，同时充分利用大量未标记数据的一种范式是无监督的预训练，然后是监督的微调。虽然这个范例以 task-agnostic 任务不可知 的方式使用了未标记的数据，但与计算机视觉的常见半监督学习方法相比，本文表明它对于ImageNet上的半监督学习非常有效。 本文的方法的一个关键组成是 在预训练和微调期间使用大的(深度和广度)网络。我们发现，标签越少，这种方法(使用未标签数据的任务无关性)从更大的网络中获益越多。经过微调后，通过第二次使用未标记的示例，可以进一步改进大网络，并将其浓
论文不详细解读（二）——SimCLR系列
qq_44965314的博客
06-30 956
1）Encoder 变长变大：SimCLR v2 用了更大的ResNet架构，把原来的 ResNet-50 (4×) 拓展成了 ResNet-152 (3×) 和 selective kernels (SK)，记为 ResNet-152 (3×+SK)，变成这样以后，把这个预训练模型用 1%的 ImageNet的标签给 Fine-tune 一下，借助这一点点的有监督信息，获得了29个点的提升。假设现在有1张任意的图片x，叫做Original Image，先对它做数据增强，得到2张增强以后的图片x1和x2。
A simple framework for contrastive learning of visual representations
zj71hmvx的博客
08-31 798
算是昨天多对比实例学习的前传 讲的主要是SimCLR Chen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations. arXiv: Learning, 2020. 一个简单的视觉表征对比学习框架。 SimCLR代码，更新到v2 这篇论文似乎帮我把知识点串起来了 介绍 在无监督的情况下进行学习，解决方式通常有两种：生成式网络和判别式网络 生
论文解读：(SimCLR)A Simple Framework for Contrastive Learning of Visual Representations
weixin_50917576的博客
04-18 1694
本文提出了SimCLR:一个简单的视觉表征对比学习框架。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或内存库。为了理解是什么使对比预测任务能够学习有用的表示，我们系统地研究了我们框架的主要组成部分。我们表明: (1)数据增强的组成在定义有效的预测任务中起着关键作用; (2)在表征和对比损失之间引入可学习的非线性转换，大大提高了学习表征的质量; (3)与监督学习相比，对比学习受益于更大的批处理规模和更多的训练步骤。
SimCLR v1（ICML 2020）原理与实现解读
00000cj的博客
04-17 1559
本文提出了SimCLR：一种简单的视觉表示对比学习的框架。通过系统的研究该框架的主要组成部分，作者发现以下几个关键因素对于学习有效的表示至关重要： 数据增强的组合在定义有效的对比预测任务中起着关键作用。无监督对比学习相比于有监督学习，从数据增强的获益更多。 在representation和对比损失之间引入可学习的非线性变换可以显著提高学习到的表示的质量。 归一化的embedding和适当调整的温度参数对使用对比交叉熵损失的representation learning是有益的。 对比学习受益于更大的bat
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值