A Survey on Contrastive Self-Supervised Learning

最新推荐文章于 2024-01-04 11:25:48 发布
最新推荐文章于 2024-01-04 11:25:48 发布
阅读量2k 收藏
点赞数
分类专栏： 算法+医学图像处理文献阅读解析 文章标签： 深度学习 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chongnannan/article/details/122498231
版权
本文详细探讨了对比自监督学习方法在计算机视觉和NLP领域的应用，包括对比学习的网络前置任务、模型架构、训练策略以及在下游任务中的表现。研究表明，对比学习在减少对标注数据的依赖、提升模型性能方面取得了显著成果，但也面临理论基础不充分、数据增强和负样本选择等挑战。
摘要由CSDN通过智能技术生成

A Survey on Contrastive Self-Supervised Learning
对比自监督学习综述

Author：Ashish Jaiswal，Ashwin Ramesh Babu, Mohammad Zaki Zadeh, Debapriya Banerjee and Fillia Makedon

机构：德克萨斯大学阿灵顿分校计算机科学与工程系，阿灵顿，美国

期刊：technologies，10.31提交，12.23接受，12.28发布；

OA

Project: Citavi-202112 传感器融合

万物皆可contrastive learning

自监督学习之所以受到欢迎，是因为它能够避免标注大规模数据集的成本。它能够采用自定义的伪标签作为监督，并将学习到的表示用于多个下游任务。具体来说，对比学习最近已经成为计算机视觉、自然语言处理(NLP)和其他领域的自我监督学习的主要组成部分。它的目的是将同一样本的增广版本嵌入到彼此接近的位置，同时试图排除来自不同样本的嵌入。这篇论文对遵循对比方法的自我监督方法进行了广泛的回顾。该工作解释了在对比学习设置中常用的借口任务，接着是迄今为止提出的不同架构。对不同的方法进行了性能比较，用于多个下游任务，如图像分类

了解本专栏 订阅专栏 解锁全文 超级会员免费看
HelloWorld__来都来了
关注
专栏目录
订阅专栏
SelfSupervised Learning原理与代码实例讲解
AI天才研究院
06-02 931
Self-Supervised Learning(SSL,自监督学习)是一种机器学习范式,它通过设计智能的监督信号来训练神经网络,而无需人工标注的数据。与传统的有监督学习和无监督学习不同,SSL既不需要人工标注的标签,也不是完全无监督,而是利用数据本身蕴含的某些结构化信息来构建监督信号,从而实现模型的自我学习。SSL的意义在于:SSL最早可以追溯到2014年Dosovitskiy等人的工作[1],他们提出通过各种数据变换来构建自监督任务。此后,SSL开始在CV、NLP等领域蓬勃发展。一些里程碑式的工作包括:
A Survey on Vision Transformer
woshilaixiazaidemiao的博客
05-24 837
摘要 本文探讨的主要类别包括：主干网络、高/中级视觉、低级视觉和视频处理。 我们还包括有效的Transformer方法，用于将Transformer推进device-based的实际应用。 此外还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。 在本文的最后，讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 Introduction 高级视觉处理：对图像中所见内容的解释和使用。 中级视觉处理：将这些信息组织成物体和表面objects and su
对比学习（Contrastive Learning）:研究进展精要
07-13 2185
对比学习(Contrastive Learning)最近一年比较火，各路大神比如Hinton、Yann LeCun、Kaiming He及一流研究机构比如Facebook、Google、DeepMind，都投入其中并快速提出各种改进模型：Moco系列、SimCLR系列、BYOL、SwAV…..，各种方法相互借鉴，又各有创新，俨然一场机器学习领域的军备竞赛。对比学习属于无监督或者自监督学习，但是目前多个模型的效果已超过了有监督模型，这样的结果很令人振奋。 我想，NLP领域的Bert模型，对于这波图像领域的对
matlab 深度置信网络代码_STTR：基于Transformers的立体深度估计网络，代码已开源！...
weixin_42370320的博客
12-07 1686
Transformer大法好！本文从序列到序列的角度重新审视了深度估计问题，以使用位置信息和注意力将cost volume construction替换为密集的像素匹配。表现SOTA！性能优于Bi3D、GwcNet和LEAStereo网络，代码刚刚开源！Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspectiv...
【论文阅读】A Survey on Contrastive Self-supervised Learning
huitailangyz的博客
01-31 2310
论文地址：https://arxiv.org/abs/2011.00362 介绍 有监督的方法的问题： 1、需要昂贵的标记数据 2、泛化性能差 3、遭受对抗攻击 大量的方法开始寻找不需要大量昂贵的标记的方法，通过自监督来学习特征表示 随着2014年GAN被提出，有许多基于GAN的自监督的生成模型，但是GAN也存在问题： 1、模型参数比较振荡，很难收敛 2、判别器通常比生成器训练得更好，使得生成器很难生成逼真的样本 对比学习是一种判别方法，旨在将相似样本靠近，将不同的样本之间距..
综述论文阅读”A survey on contrastive self-supervised learning“（Technologies2020）
qq_43497436的博客
06-27 483
A survey on contrastive self-supervised learning作者：Jaiswal, Ashish and Babu, Ashwin Ramesh and Zadeh, Mohammad Zaki and Banerjee, Debapriya and Makedon, Fillia链接：Technologies | Free Full-Text | A Survey on Contrastive Self-Supervised Learning深度学习在很多智能系统中表现
【自监督学习综述】A Survey on Contrastive Self-Supervised Learning
qq_42352772的博客
07-04 5445
对比自监督学习研究综述
自监督学习（十九）：对比学习方法综述
weixin_47444348的博客
01-25 2015
A SURVEY ON CONTRASTIVE SELF-SUPERVISED LEARNINGIntroductionArchitectures Introduction 这里我们介绍一篇对比学习的综述文章。对比学习是最近非常热门的自监督表示学习方法，在很多的下游任务上都达到或超过了ImageNet预训练的效果。本文比较系统地总结了目前对比学习的几个常用的方法。文章地址：https://arxiv.org/abs/2011.00362。 在之前我们介绍的自监督表示学习方法中，pretext task的设计
A survey of self-supervised and few-shot object detection论文整理
qq_41064487的博客
04-04 4149
文章目录文章思路个人理解 文章思路 大致理解一下之后再翻译 简介 直到最近，标准FSOD的过程都是先在ImageNet上预训练一个backbone，再用base数据集在backbone基础上训练一个object detector，最终在novel class上微调。然而，随着自监督表征学习的发展，许多目标检测的方法逐渐用无监督代理任务学出来的参数初始化自己的backbone。 典型预训练自监督算法的问题在于它们出发点是分类任务，目标是最大化ImageNet数据集的Top-1表现。但是分类任务中丢弃的一些
人脸识别二
AI+机器人
02-28 6227
awesome-Face_Recognition Face Tracking; Face Clustering; Face Super-Resolution && Face Deblurring && Face Hallucination; Face Generation && Face Synthesis && Face Completion && Face Restoration && Face De-O
最新的对比自监督学习（Contrastive Self-supervised Learning）综述论文
09-22
自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可能地远。这篇论文提供了一个非常详尽的对比自监督学习综述。
Self-supervised Learning: Generative or Contrastive
浪荡子爱自由的博客
06-22 1585
清华大学唐杰老师组：自监督学习最新研究进展 提示：近年来，深度监督学习取得了巨大的成功。然而，它依赖于手工标签，并且易受攻击的弱点促使学者们探索更好的解决方案。近年来，自监督学习作为一种新的学习方法，在表征学习方面取得了骄人的成绩并吸引了越来越多的注意。自监督表示学习利用输入数据本身作为监督信号，几乎有利于所有不同类型的下游任务。 提示：另外还有两篇最近放出来的自监督学习的综述： 【1】Self-supervised Visual Feature Learning with Deep Neural .
Contrastive Self-Supervised Learning 的对比学习框架和设计新方法
博客
10-09 1081
https://towardsdatascience.com/a-framework-for-contrastive-self-supervised-learning-and-designing-a-new-approach-3caab5d29619 近来，一系列“新颖”的自监督学习领域算法取得了不错的成果，如：AMDIM[2]，CPC[3]，Moco[5]，SimCLR[4]，BYOL[6]等。YADIM[1]设计了一个框架来表达对比性自我监督学习方法，受该框架启发，本文从4个方面了分析近来的对比自监督算
Supervised Contrastive Learning：有监督对比学习
热门推荐
weixin_44846680的博客
01-19 1万+
《Supervised Contrastive Learning》论文阅读笔记
Supervised Contrastive Learning浅读
qq_41845951的博客
07-31 2613
前言 本文是根据观看了知名油管up主，对Supervised Contrastive Learning这篇文论文的解读写了一点自己的理解，初次接触，理解甚浅。 在文章中作者提出了一种新的监督训练的loss, 这种loss 是基于contrast loss的优化目标，与之前的监督学习不同，它是每个锚点取多个正例， 目的是使相同label 的normalized embedding 尽可能接近，不同label的尽可能远。最终结果证明，新的loss要比cross entropy训练更加稳定， 并且在分...
[NeurIPS 2020] Supervised Contrastive Learning
连理o的博客
03-02 858
[NeurIPS 2020] Supervised Contrastive Learning
supervised contrastive learning 解读
weixin_61445075的博客
04-03 5340
SupCon 定义： Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. novelties： 属于同一类的归一化后的特征表示靠得越近越好，不同类的靠的越远越好。并且，一个anchor 样本，具有多个正样本，sel-sup 通
【笔记】 SCL （Supervised Contrastive Learning）论文分析：“监督对比学习“，相比”自监督对比学习“，从“同源” vs “非同源”，扩展为“同类” vs “非同类”
nyist_yangguang的博客
07-20 3336
监督对比学习“，相比”自监督对比学习“，将对比策略，从“同源”vs“非同源”，扩展为“同类”vs"非同类“。训练自己的模型时，也可以试试这个supervisedcontrastiveloss。引用2SupervisedContrastiveLearning论文实验非常充分，公式的推导也很扎实。具体可以看这里，是一篇很优秀严谨的论文。给人耳目一新的感觉，但论文中提到的诸多数据增强的方法，我的了解都很有限，后续会再看一些相关的论文。交叉熵（Cross-Entropy）......
【深度学习：（Contrastive Learning） 对比学习】深入浅出讲解对比学习
最新发布
欢迎来到最优秀的博客
01-04 2万+
对比学习是一种学习方法，侧重于通过对比正反两方面的实例来提取有意义的表征。它利用的假设是，在学习到的嵌入空间中，相似的实例应靠得更近，而不相似的实例应离得更远。通过将学习作为一项辨别任务，对比学习允许模型捕捉数据中的相关特征和相似性。
contrastive self-supervised learning pdf
09-07
对比式自监督学习是一种无监督学习的方法，旨在通过通过训练模型来学习数据的表示。这种方法在计算机视觉领域中得到了广泛的应用。 对比式自监督学习的核心思想是通过将数据例子与其在时间或空间上的某种变形或扭曲版本对比，来训练模型。这种对比鼓励模型捕捉到数据的关键特征，从而学习到更好的表示。 对比式自监督学习的一个常见应用是图像的自学习。通过将图像进行旋转、剪切、缩放等变形，来构建一个正样本（原始图像）和负样本（变形图像）对。然后将这些对输入到一个深度神经网络中进行训练，以学习图像表示。训练过程中，网络被要求将正样本和负样本区分开，从而学习到图像的特征。 对比式自监督学习有许多优点。首先，它不需要标注数据，使其适用于大规模的无标签数据。其次，由于数据自动生成，可以轻松地扩展到大数据集。另外，对比式自监督学习的模型可以用于其他任务的迁移学习，使得模型更通用。 然而，对比式自监督学习也存在一些挑战和限制。首先，生成变形样本的过程可能会降低数据的质量，从而降低学习效果。其次，选择合适的变形方式和参数也是一个挑战。另外，对于某些领域和任务，对比式自监督学习可能不适用或效果不佳。 总之，对比式自监督学习是一种有效的无监督学习方法，可用于数据表示学习。它在计算机视觉领域有着广泛的应用，并具有许多优点。然而，仍然需要进一步的研究和发展来克服其中的挑战和限制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HelloWorld__来都来了

来都来了 福寿双全

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值