A Survey on Contrastive Self-Supervised Learning

最新推荐文章于 2023-03-02 16:42:59 发布
最新推荐文章于 2023-03-02 16:42:59 发布
阅读量1.9k 收藏
点赞数
分类专栏： 算法+医学图像处理文献阅读解析 文章标签： 深度学习 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chongnannan/article/details/122498231
版权

A Survey on Contrastive Self-Supervised Learning
对比自监督学习综述

Author：Ashish Jaiswal，Ashwin Ramesh Babu, Mohammad Zaki Zadeh, Debapriya Banerjee and Fillia Makedon

机构：德克萨斯大学阿灵顿分校计算机科学与工程系，阿灵顿，美国

期刊：technologies，10.31提交，12.23接受，12.28发布；

OA

Project: Citavi-202112 传感器融合

万物皆可contrastive learning

自监督学习之所以受到欢迎，是因为它能够避免标注大规模数据集的成本。它能够采用自定义的伪标签作为监督，并将学习到的表示用于多个下游任务。具体来说，对比学习最近已经成为计算机视觉、自然语言处理(NLP)和其他领域的自我监督学习的主要组成部分。它的目的是将同一样本的增广版本嵌入到彼此接近的位置，同时试图排除来自不同样本的嵌入。这篇论文对遵循对比方法的自我监督方法进行了广泛的回顾。该工作解释了在对比学习设置中常用的借口任务，接着是迄今为止提出的不同架构。对不同的方法进行了性能比较，用于多个下游任务，如图像分类、目标检测和动作识别。最后，总结了现有方法的局限性，以及需要进一步的技术和未来的方向来取得有意义的进展。

1 Introduction

随着深度学习技术的发展，该领域已成为大多数智能系统的核心组件。深度神经网络能够

了解本专栏 订阅专栏 解锁全文 超级会员免费看
HelloWorld__来都来了
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
matlab 深度置信网络代码_STTR：基于Transformers的立体深度估计网络，代码已开源！...
weixin_42370320的博客
12-07 1619
Transformer大法好！本文从序列到序列的角度重新审视了深度估计问题，以使用位置信息和注意力将cost volume construction替换为密集的像素匹配。表现SOTA！性能优于Bi3D、GwcNet和LEAStereo网络，代码刚刚开源！Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspectiv...
【论文阅读】A Survey on Contrastive Self-supervised Learning
huitailangyz的博客
01-31 2251
论文地址：https://arxiv.org/abs/2011.00362 介绍 有监督的方法的问题： 1、需要昂贵的标记数据 2、泛化性能差 3、遭受对抗攻击 大量的方法开始寻找不需要大量昂贵的标记的方法，通过自监督来学习特征表示 随着2014年GAN被提出，有许多基于GAN的自监督的生成模型，但是GAN也存在问题： 1、模型参数比较振荡，很难收敛 2、判别器通常比生成器训练得更好，使得生成器很难生成逼真的样本 对比学习是一种判别方法，旨在将相似样本靠近，将不同的样本之间距..
A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释
秃头小苏的博客
10-03 816
摘自MDPI：A Survey on Contrastive Self-Supervised Learning 摘要部分： Self-supervised learning(自监督学习) has gained popularity because of its ability to avoid the cost of annotating(给…做注释) large-scale datasets. It is capable of adopting self-defined pseudolabels(伪标.
综述论文阅读”A survey on contrastive self-supervised learning“（Technologies2020）
qq_43497436的博客
06-27 410
A survey on contrastive self-supervised learning作者：Jaiswal, Ashish and Babu, Ashwin Ramesh and Zadeh, Mohammad Zaki and Banerjee, Debapriya and Makedon, Fillia链接：Technologies | Free Full-Text | A Survey on Contrastive Self-Supervised Learning深度学习在很多智能系统中表现
【自监督学习综述】A Survey on Contrastive Self-Supervised Learning
qq_42352772的博客
07-04 5006
对比自监督学习研究综述
Contrastive Self-supervised Learning for Graph Classification
12-20
Contrastive Self-supervised Learning for Graph Classification 在图分类问题中， Contrastive Self-supervised Learning（对比自监督学习）是一种有效的方法，它可以解决图分类模型中的过拟合问题。该方法通过在...
再介绍一篇最新的Contrastive Self-supervised Learning综述论文 .pdf
08-12
Contrastive Self-supervised Learning综述论文 Contrastive Self-supervised Learning（对比自监督学习）是当前机器学习领域中一个非常热门的研究方向。这篇论文对对比自监督学习进行了详细的综述，涵盖了其工作...
再介绍一篇最新的Contrastive Self-supervised Learning综述论文 .rar
10-18
再介绍一篇最新的Contrastive Self-supervised Learning综述论文 .rar
最新的对比自监督学习（Contrastive Self-supervised Learning）综述论文
09-22
自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，...
TimesURL Self-supervised
最新发布
06-18
TimesURL Self-supervised Contrastive Learning for Universal Time Series Representation Learning
自监督学习（十九）：对比学习方法综述
weixin_47444348的博客
01-25 1873
A SURVEY ON CONTRASTIVE SELF-SUPERVISED LEARNINGIntroductionArchitectures Introduction 这里我们介绍一篇对比学习的综述文章。对比学习是最近非常热门的自监督表示学习方法，在很多的下游任务上都达到或超过了ImageNet预训练的效果。本文比较系统地总结了目前对比学习的几个常用的方法。文章地址：https://arxiv.org/abs/2011.00362。 在之前我们介绍的自监督表示学习方法中，pretext task的设计
Self-supervised Learning: Generative or Contrastive
浪荡子爱自由的博客
06-22 1502
清华大学唐杰老师组：自监督学习最新研究进展 提示：近年来，深度监督学习取得了巨大的成功。然而，它依赖于手工标签，并且易受攻击的弱点促使学者们探索更好的解决方案。近年来，自监督学习作为一种新的学习方法，在表征学习方面取得了骄人的成绩并吸引了越来越多的注意。自监督表示学习利用输入数据本身作为监督信号，几乎有利于所有不同类型的下游任务。 提示：另外还有两篇最近放出来的自监督学习的综述： 【1】Self-supervised Visual Feature Learning with Deep Neural .
Contrastive Self-Supervised Learning 的对比学习框架和设计新方法
博客
10-09 1053
https://towardsdatascience.com/a-framework-for-contrastive-self-supervised-learning-and-designing-a-new-approach-3caab5d29619 近来，一系列“新颖”的自监督学习领域算法取得了不错的成果，如：AMDIM[2]，CPC[3]，Moco[5]，SimCLR[4]，BYOL[6]等。YADIM[1]设计了一个框架来表达对比性自我监督学习方法，受该框架启发，本文从4个方面了分析近来的对比自监督算
Supervised Contrastive Learning：有监督对比学习
热门推荐
weixin_44846680的博客
01-19 1万+
《Supervised Contrastive Learning》论文阅读笔记
Supervised Contrastive Learning浅读
qq_41845951的博客
07-31 2267
前言 本文是根据观看了知名油管up主，对Supervised Contrastive Learning这篇文论文的解读写了一点自己的理解，初次接触，理解甚浅。 在文章中作者提出了一种新的监督训练的loss, 这种loss 是基于contrast loss的优化目标，与之前的监督学习不同，它是每个锚点取多个正例， 目的是使相同label 的normalized embedding 尽可能接近，不同label的尽可能远。最终结果证明，新的loss要比cross entropy训练更加稳定， 并且在分...
[NeurIPS 2020] Supervised Contrastive Learning
连理o的博客
03-02 769
[NeurIPS 2020] Supervised Contrastive Learning
supervised contrastive learning 解读
weixin_61445075的博客
04-03 5236
SupCon 定义： Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. novelties： 属于同一类的归一化后的特征表示靠得越近越好，不同类的靠的越远越好。并且，一个anchor 样本，具有多个正样本，sel-sup 通
NIPS20 - 将对比学习用于监督学习任务《Supervised Contrastive Learning》
要相信光
10-19 4591
文章目录原文地址论文阅读方法初识相知回顾代码 原文地址 原文 论文阅读方法 三遍论文法 初识 对比学习这两年在自监督学习、无监督学习任务中非常火，取得了非常优秀的性能。这个工作就是想办法将其用在监督学习任务中，在训练过程中更有效地利用标签信息。 文章研究的点主要在于对比学习在分类任务中的应用 作者首先分析了分类任务中最常采用的交叉熵损失函数的缺点：① 对噪声数数据缺乏鲁棒性; ② 分类边界的问题(the possibility of poor margins)。这样会导致模型泛化能力下降，因此也有不少工
Supervised Contrastive Learning
pitaojun的博客
10-03 4727
1. 论文摘要 作者提出了一种新的监督训练的loss, 这种loss 是基于contrast loss的优化目标，不同的是每个锚点取多个正例， 目的是使相同label 的normalized embedding 尽可能接近，不同label的尽可能远。最终结果证明，新的loss要比cross entropy训练更加稳定， 并且在分类任务的结果要好1.6%, 在ImageNet 数据集上达到了78.8%的 top 1 准确率。 2. 方法介绍 (a)代表传统的交叉熵loss 主要是在最后一层通过softmax
contrastive self-supervised learning pdf
09-07
对比式自监督学习是一种无监督学习的方法，旨在通过通过训练模型来学习数据的表示。这种方法在计算机视觉领域中得到了广泛的应用。 对比式自监督学习的核心思想是通过将数据例子与其在时间或空间上的某种变形或扭曲...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HelloWorld__来都来了

来都来了 福寿双全

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值